什么是Prometheus？

Prometheus是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社区也十分活跃，他们便将它独立成开源项目，并且有公司来运作。google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。

Prometheus 的优点

  • 非常少的外部依赖，安装使用超简单
  • 已经有非常多的系统集成，例如：docker HAProxy Nginx JMX等等
  • 服务自动化发现
  • 直接集成到代码
  • 设计思想是按照分布式、微服务架构来实现的

Prometheus 的特性

  • 自定义多维度的数据模型
  • 非常高效的存储 平均一个采样数据占 ~3.5 bytes左右，320万的时间序列，每30秒采样，保持60天，消耗磁盘大概228G。
  • 强大的查询语句
  • 轻松实现数据可视化

Prometheus的架构

组件：

  • Prometheus Server
    负责从 Exporter 拉取和存储监控数据，并提供一套灵活的查询语言（PromQL）
    • Retrieval：采样模块
    • TSDB:：存储模块默认本地存储为tsdb
    • HTTP Server：提供http接口查询和面板，默认端口为9090
  • Exporters/Jobs
    负责收集目标对象（host， container…）的性能数据，并通过 HTTP 接口供 Prometheus Server 获取。支持数据库、硬件、消息中间件、存储系统、http服务器、jmx等。只要符合接口格式，就可以被采集。
  • Short-lived jobs
    瞬时任务的场景，无法通过pull方式拉取，需要使用push方式，与PushGateway搭配使用
  • PushGateway
    可选组件，主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
  • 客户端sdk
    官方提供的客户端类库有go、java、scala、python、ruby，其他还有很多第三方开发的类库，支持nodejs、php、erlang等
  • PromDash
    使用rails开发的dashboard，用于可视化指标数据，已废弃
  • Alertmanager
    从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie， webhook 等。
  • Service Discovery
    服务发现，Prometheus支持多种服务发现机制：文件，DNS，Consul，Kubernetes，OpenStack，EC2等等。基于服务发现的过程并不复杂，通过第三方提供的接口，Prometheus查询到需要监控的Target列表，然后轮训这些Target获取监控数据。

Prometheus 2.x架构如图：

img

工作流程

  • Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 metrics，或者接收来自 Pushgateway 发过来的 metrics，或者从其他的 Prometheus server 中拉 metrics。
  • Prometheus server 在本地存储收集到的 metrics，并运行已定义好的 alert.rules，记录新的时间序列或者向 Alertmanager 推送警报。
  • Alertmanager 根据配置文件，对接收到的警报进行处理，发出告警。
  • 在图形界面中，可视化采集数据。

常用的exporter

  • node_exporter：用来监控运算节点上的宿主机的资源信息，需要部署到所有运算节点
  • kube-state-metric：prometheus采集k8s资源数据的exporter，能够采集绝大多数k8s内置资源的相关数据，例如pod、deploy、service等等。同时它也提供自己的数据，主要是资源采集个数和采集发生的异常次数统计
  • cadvisor：用来监控容器内部使用资源的信息
  • blackbox_exporter：监控业务容器存活性

UI页面

UI页面的三种方法：

  • Prometheus web UI：自带的（不怎么好用）
  • Grafana：美观、强大的可视化监控指标展示工具
  • API clients：自己开发的监控展示工具