如何优雅的使用TenSunS管理Blackbox站点监控


概述

后羿 - TenSunS(原ConsulManager)是一个使用Flask+Vue开发,基于Consul的WEB运维平台,弥补了Consul官方UI对Services管理的不足;并且基于Consul的服务发现与键值存储:实现了Prometheus自动发现多云厂商各资源信息;基于Blackbox对站点监控的可视化维护;以及对自建与云上资源的优雅管理与展示。

仓库地址:https://github.com/starsliao/TenSunS

Consul字段设计说明

  • 所有数据存在一个名为blackbox_exporter的Services项中,每个监控目标为一个子Service。
  • 每个Service使用Meta的kv保存监控目标的属性:modulecompanyprojectenvnameinstance,分别表示:监控类型,公司部门,项目,环境,名称,实例url。
  • 新增监控时,监控类型字段(module)和Blackbox配置中的module必须保持一致。
  • 前5个字段合并即为consul的serviceID,作为唯一监控项标识

配置Prometheus与Blackbox

原理:基于Consul实现Prometheus的自动发现功能配置

  • 把Consul每个service的Meta的KV关联到Prometheus每个指标的标签。
  • 根据每个指标的标签来对监控目标分类,分组,方便管理维护。

    1. 配置Blackbox_Exporter
  • 在Web页面点击Blackbox 站点监控/Blackbox 配置,点击复制配置

  • 编辑blackboxexporter的blackbox.yml,清空已有的配置,把复制的内容粘贴进去,重启blackboxexporter。

    2. 配置Prometheus
  • 在Web页面点击Blackbox 站点监控/Prometheus 配置,点击复制配置

  • 编辑Prometheus的prometheus.yml,把复制的内容追加到最后,reload或重启Prometheus。

    3. 配置Prometheus告警规则
  • 在Web页面点击Blackbox 站点监控/告警规则,点击复制配置

  • 编辑Prometheus的rules.yml,把复制的内容追加到最后,reload或重启Prometheus。

    4. 查看Prometheus
  • 在Prometheus的Web页面中,点击Status-Targets,能看到新增的Job即表示数据同步到Prometheus。

    5. 导入Blackbox Exporter Dashboard
  • 支持Grafana 8,基于blackbox_exporter 0.19.0设计

  • 采用图表+曲线图方式展示TCP,ICMP,HTTPS的服务状态,各阶段请求延时,HTTPS证书信息等
  • 优化展示效果,支持监控目标的分组、分类级联展示,多服务同时对比展示。
  • 导入ID:9965
  • 详细URL:https://grafana.com/grafana/dashboards/9965

批量导入脚本【现已支持直接在Web页面上批量导入监控站点!】

在项目仓库根目录的tools目录下:编辑blackbox-instance.list,写入监控目标的信息:监控类型,公司/部门,项目,环境,名称,实例url,每行一个,空格分隔。

注意:前5个字段组合起来必须唯一,作为一个监控项的ID。即Consul的ServiceID

再修改导入脚本blackbox-input.py中的consultoken和consulurl,保存后执行blackbox-input.py,即可导入所有监控目标到Consul,并符合Prometheus的自动发现配置。