Prometheus监控系统

任务背景

某某某公司是一家电商网站，由于公司的业务快速发展，公司要求对现有机器进行业务监控，责成运维部门来实施这个项目。

任务要求

1）部署监控服务器，实现7x24实时监控

2）针对公司的业务及研发部门设计监控系统，对监控项和触发器拿出合理意见

3）做好问题预警机制，对可能出现的问题要及时告警并形成严格的处理机制

4）做好监控告警系统，要求可以实现告警分级

一级报警电话通知

二级报警微信通知

三级报警邮件通知

5）处理好公司服务器异地集中监控问题，K8S内部使用的监控系统就是普罗米修斯

任务分析

为什么要监控？

答: 实时收集数据，通过报警及时发现问题，及时处理。数据为优化也可以提供依据。

监控四要素：

监控对象 [主机状态服务资源页面，url]

用什么监控 [zabbix-server zabbix-agent] => 普罗米修斯监控

什么时间监控 [7x24 5x8]

报警给谁 [管理员]

项目选型：

mrtg (Multi Router Traffic Grapher)通过snmp协议得到设备的流量信息，并以包含PNG格式的图形的HTML文档方式显示给用户。

cacti (仙人掌) 用php语言实现的一个软件，它的主要功能是用snmp服务获取数据，然后用rrdtool储存和更新数据。官网地址: https://www.cacti.net/

ntop 官网地址: https://www.ntop.org/

nagios 能够跨平台,插件多,报警功能强大。官网地址: https://www.nagios.org/

centreon 底层使用的就是nagios。是一个nagios整合版软件。官网地址:https://www.centreon.com/

ganglia 设计用于测量数以千计的节点,资源消耗非常小。官网地址:http://ganglia.info/

open-falcon 小米发布的运维监控软件，高效率，高可用。时间较短，用户基数小。官网地址: http://open-falcon.org/

zabbix 跨平台，画图，多条件告警，多种API接口。使用基数特别大。官网地址: https://www.zabbix.com/

prometheus 基于时间序列的数值数据的容器监控解决方案。官网地址: https://prometheus.io/

综合分析：Prometheus比较适合公司的监控需求

一、普罗米修斯概述

Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。

https://prometheus.io/docs/introduction/overview/

二、时间序列数据

1、什么是序列数据

时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化的数据被称为时序数据。

应用的场景很多, 如：

无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距离等等。每时每刻都要将数据记录下来做分析。

某一个地区的各车辆的行驶轨迹数据

传统证券行业实时交易数据

实时运维监控数据等

2、时间序列数据特点

性能好

关系型数据库对于大规模数据的处理性能糟糕。NOSQL可以比较好的处理大规模数据，让依然比不上时间序列数据库。

存储成本低

高效的压缩算法，节省存储空间，有效降低IO

Prometheus有着非常高效的时间序列数据存储方法，每个采样数据仅仅占用3.5byte左右空间，上百万条时间序列，30秒间隔，保留60天，大概花了200多G（来自官方数据)

3、Prometheus的主要特征

多维度数据模型

灵活的查询语言

不依赖分布式存储，单个服务器节点是自主的

以HTTP方式，通过pull模型拉去时间序列数据

也可以通过中间网关支持push模型

通过服务发现或者静态配置，来发现目标服务对象

支持多种多样的图表和界面展示

4、普罗米修斯原理架构图

image

三、实验环境准备

image

1、静态ip(要求能上外网)
2、主机名
各自配置好主机名

# hostnamectl set-hostname --static server.cluster.com

三台都互相绑定IP与主机名

# vim /etc/hosts
10.1.1.13  server.cluster.com
10.1.1.14  agent1.cluster.com
10.1.1.15  grafana.cluster.com

3. 时间同步(时间同步一定要确认一下)
4. 关闭防火墙,selinux

# systemctl stop firewalld
# systemctl disable firewalld
# iptables -F

1、安装prometheus

从 https://prometheus.io/download/ 下载相应版本，安装到服务器上

官网提供的是二进制版，解压就能用，不需要编译

[root@server ~]# tar xf prometheus-2.5.0.linux-amd64.tar.gz -C /usr/local/
[root@server ~]# mv /usr/local/prometheus-2.5.0.linux-amd64/ /usr/local/prometheus

直接使用默认配置文件启动
[root@server ~]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &


确认端口(9090)
[root@server ~]# lsof -i:9090

2、prometheus界面

通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面

1.png

默认只监控了本机一台，点Status --》点Targets --》可以看到只监控了本机

2.png

3、主机数据展示

通过http://服务器IP:9090/metrics可以查看到监控的数据

3.png

在web主界面可以通过关键字查询监控项

4.png

4、监控远程Linux主机

① 在远程linux主机(被监控端agent1)上安装node_exporter组件

下载地址: https://prometheus.io/download/

[root@agent1 ~]# tar xf node_exporter-0.16.0.linux-amd64.tar.gz -C /usr/local/
[root@agent1 ~]# mv /usr/local/node_exporter-0.16.0.linux-amd64/ /usr/local/node_exporter

里面就一个启动命令node_exporter,可以直接使用此命令启动
[root@agent1 ~]# ls /usr/local/node_exporter/
LICENSE  node_exporter  NOTICE
[root@agent1 ~]# nohup /usr/local/node_exporter/node_exporter &   

确认端口(9100)
[root@agent1 ~]# lsof -i:9100

扩展: nohup 命令: 如果把启动node_exporter的终端给关闭,那么进程也会随之关闭。nohup命令会帮你解决这个问题。

② 通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息

5.png

③ 回到prometheus服务器的配置文件里添加被监控机器的配置段

在主配置文件最后加上下面三行
[root@server ~]# vim /usr/local/prometheus/prometheus.yml
 - job_name: 'agent1'                   # 取一个job名称来代表被监控的机器
   static_configs:
   - targets: ['10.1.1.14:9100']        # 这里改成被监控机器的IP，后面端口接9100

改完配置文件后,重启服务
[root@server ~]# pkill prometheus
[root@server ~]# lsof -i:9090           # 确认端口没有进程占用
[root@server ~]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &
[root@server ~]# lsof -i:9090           # 确认端口被占用，说明重启成功

④ 回到web管理界面 --》点Status --》点Targets --》可以看到多了一台监控目标

6.png

练习: 加上本机prometheus的监控
答: 在本机安装node_exporter，也使用上面的方式监控起来。

5、监控远程MySQL

① 在被管理机agent1上安装mysqld_exporter组件