基于Rancher k8s部署Prometheus 监控swoole业务核心指标实战

keyword Rancher Prometheus swoole docker docker-compose

Prometheus

特性

Prometheus 是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本, 性能也足够支撑上万台规模集群.

多维度数据模型
灵活的查询语言
不依赖分布式存储，单个服务器节点是自主的
通过基于HTTP的pull方式采集时序数据
可以通过中间网关进行时序列数据推送
通过服务发现或者静态配置来发现目标服务对象
支持多种多样的图表和界面展示，比如Grafana等

基本原理

Prometheus 通过使用http协议周期拉取配置的指标项(Metrics), 并将数据通过一定规则整理清洗, 存储到新的时间序列中. 在本次实战中将对业务使用的php swoole进行核心指标监控并通过grafana 图形化工具进行输出展示.

搭建步骤

Prometheus docker本地编排

对于直接在rancher 上部署, 我们可以在本地使用docker-compose 本地编排实验后进行k8s 远程部署, 在本地部署使用docker-compose 模拟k8s容器编排, 便于开发实验.

首先创建一个monitor文件夹作为此次项目的路径

$ mkdir monitor && cd monitor

创建prometheus文件夹, 用来存放我们的监控配置文件

$ mkdir prometheus && cd prometheus && touch prometheus.yml

在prometheus.yml配置文件中添加以下内容

global:
  scrape_interval:     30s # 全局周期
scrape_configs:
- job_name: 'foo' # 作业名称
  scrape_interval: 30s # 调用周期
  metrics_path: "/health/metrics" # 调用路径
  static_configs:
    - targets: ['foo.com:80'] # 远程服务地址

在上面的配置文件中我们指明了foo这个监控作业, 并指定运行周期30s, 每次调用地址为 foo.com:80/health/metrics这个接口地址. 具体这个接口我们应该如何输出数据, 下边会具体提到.

在monitor文件夹根路径创建docker-compose.yml文件

$ touch docker-compose.yml

并加入以下内容

version: '2'
services:
    prometheus:
        container_name: prometheus # 容器名称
        image: prom/prometheus # 镜像名称
        networks: # 共享网络
            - foo
        volumes:
            - ./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml # 将本地配置文件,挂载到目标容器/etc/prometheus/prometheus.yml位置
        ports:
            - '9090:9090'
        command:
            - '--config.file=/etc/prometheus/prometheus.yml'
            - '--web.enable-admin-api'
            - '--web.enable-lifecycle' # 支持配置文件热更新

    grafana:
        container_name: grafana
        image: grafana/grafana:6.4.3
        ports:
            - '3000:3000'
        depends_on:
            - prometheus # 依赖 prometheus 服务后启动
        networks:
            - foo
        environment:
            GF_SECURITY_ADMIN_USER: ${GRAFANA_USERNAME} # grafana 用户名(变量)
            GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_PASSWORD}

networks: # 定义外部网络, 便于服务间访问
    foo:
        external: true

此处重点说明一下 prometheus 服务中command 选项中的配置书写问题, 因为 prom/prometheus镜像已经有程序入口并已经配置--config.file 和--web.enable-admin-api, 此时我们只需要追加启动命令的web.enable-lifecycle表示开启服务热更新监控配置, 如果只写最后,会导致前边两项无配置, 服务将会缺少配置而无法启动.

Swoole 接口

在Swoole 项目中, 编写接口/health/metrics/ 内容如下:

$server = new Swoole\Http\Server("127.0.0.1", 80); // 此处只是展示$server对象类型, 具体server对象需从当前项目框架中进行获取, 不要自己再次实例化.
$metrics = $server->stats();
 foreach ($metrics as $k => $v) {
     echo sprintf("%s %s\n", $k, $v);
 }
 echo "# 协程状态\n";

 $metrics = Swoole\Coroutine::stats();
 foreach ($metrics as $k => $v) {
     echo sprintf("%s %s\n", $k, $v);
 }

访问 http://127.0.0.1:80/health/metrics/ 将会有以下输出

start_time 1573612504
connection_num 1
accept_count 7
close_count 6
worker_num 2
idle_worker_num 1
tasking_num 0
request_count 10
worker_request_count 0
worker_dispatch_count 11
coroutine_num 1
# 协程状态
event_num 2
signal_listener_num 0
aio_task_num 0
c_stack_size 2097152
coroutine_num 1
coroutine_peak_num 1
coroutine_last_cid 3

具体参数含义可自行查看Swoole 文档获取详细解释.