【Alerting】【AlertManager】从入门到精通

1.简介:

  • Alertmanager和Prometheus密不可分,是Prometheus的模块之一,不过需要独立安装
  • 本文使用rpm安装,版本:0.15.3-1.el7.centos

2.链接:

2.1. 参考文献

3. 架构图:

image.png

4. 部署:

4.1. rpm安装:(4.1和4.2二选一)

  • 好心人打的包 /etc/yum.repos.d/prometheus.repo
[prometheus]
name=prometheus
baseurl=https://packagecloud.io/prometheus-rpm/release/el/7/$basearch
repo_gpgcheck=1
enabled=1
gpgkey=https://packagecloud.io/prometheus-rpm/release/gpgkey
       https://raw.githubusercontent.com/lest/prometheus-rpm/master/RPM-GPG-KEY-prometheus-rpm
gpgcheck=1
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
  • 运行 yum install -y alertmanager
  • 安装完的结构如下
/etc/default/alertmanager # systemd的环境变量
/etc/prometheus/alertmanager.yml # Alertmanager的主配置文件
/usr/bin/alertmanager # Alertmanager的启动文件
/usr/bin/amtool # 查看报警的工具程序
/usr/lib/systemd/system/alertmanager.service # systemd的入口程序
/var/lib/prometheus # 库文件
  • systemctl start alertmanager && systemctl enable alertmanager

4.2. 二进制包安装:(4.1和4.2二选一)

  • 下载二进制包,wget https://github.com/prometheus/alertmanager/releases/download/v0.15.3/alertmanager-0.15.3.linux-amd64.tar.gz
  • 解压 tar xf alertmanager-0.15.3.linux-amd64.tar.gz -C /opt
~]# ll /opt/alertmanager-0.15.3.linux-amd64/
total 31200
-rwxr-xr-x 1 3434 3434 19998160 Nov  9 16:41 alertmanager # Alertmanager的启动文件
-rw-r--r-- 1 3434 3434      380 Nov  9 17:00 alertmanager.yml # Alertmanager的主配置文件
-rwxr-xr-x 1 3434 3434 11923635 Nov  9 16:41 amtool # 查看报警的工具程序
-rw-r--r-- 1 3434 3434    11357 Nov  9 17:00 LICENSE
-rw-r--r-- 1 3434 3434      457 Nov  9 17:00 NOTICE
  • 直接运行./alertmanager就可以启动

5. 配置文件

5.1. /usr/lib/systemd/system/alertmanager.service

# -*- mode: conf -*-
[Unit]
Description=Prometheus Alertmanager.
Documentation=https://github.com/prometheus/alertmanager
After=network.target
[Service]
EnvironmentFile=-/etc/default/alertmanager
User=prometheus
ExecStart=/usr/bin/alertmanager \
          --config.file=/etc/prometheus/alertmanager.yml \
          --storage.path=/var/lib/prometheus/alertmanager \
          $ALERTMANAGER_OPTS
ExecReload=/bin/kill -HUP $MAINPID
Restart=always
[Install]
WantedBy=multi-user.target

5.2. /etc/default/alertmanager

\color{#FF0000}{注意:}--web.external-url\color{#FF0000}{选项一定要加,prometheus发送告警邮件的时候回引用这个地址,如果不加,默认是机器名}

ALERTMANAGER_OPTS='\ 
--web.external-url=http://10.41.91.91:9093 \ # 被外部访问的地址,10.41.91.91是本机地址,其他服务器的配置请记得修改这个
--cluster.listen-address=10.41.91.91:9094 \ # 本机被集群监听的地址
--cluster.peer=10.41.91.91:9094 \ # 本机监听其他集群的地址
--cluster.peer=10.210.149.26:9094 \
--cluster.peer=10.210.149.27:9094'

5.3. /etc/prometheus/alertmanager.yml

global: # 全局配置
  resolve_timeout: 5m # 解决报警时间间隔
route: # 分发的规则
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'web.hook'
receivers: # 接受者,可以是邮箱,wechat或者web接口等等
- name: 'web.hook'
  webhook_configs:
  - url: 'http://127.0.0.1:5001/'
inhibit_rules: # 抑制的规则
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

6. 管理工具

6.1. amtool

amtool alert --alertmanager.url=http://localhost:9093
Alertname    Starts At                Summary
RootfsUsage  2019-01-10 07:13:32 CET  Not enough space for root fs on 10.210.54.227:9100
RootfsUsage  2019-01-11 14:36:17 CET  Not enough space for root fs on 10.210.54.226:9100
MemoryUsage  2019-01-17 00:44:17 CET  Memory of instance 150.132.195.26:9100 is not enough

6.2. web UI

http://你的服务器IP:9093


image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容

  • 前言 尝到k8s甜头以后,我们就想着应用到生产环境里去,以提高业务迭代效率,可是部署在生产环境里有一个要求,就是k...
    我的橙子很甜阅读 12,885评论 0 15
  • Linux习惯问题: 在vim编辑时,按了ctrl + s后,再按ctrl + q就可以继续执行了。ctrl + ...
    光着脚的鞋阅读 4,480评论 0 16
  • 时隔大半年,我又回来了,这回带来的是最近非常火的容器编排工具——kubernetes 先附上docker 官网和k...
    我的橙子很甜阅读 13,182评论 2 79
  • join() 方法用于把数组中的所有元素放入一个字符串。元素是通过指定的分隔符进行分隔的。
    ml66阅读 1,644评论 0 1
  • 橙子蓝莓车厘子 提子柚子牛油果 海苔芝士哈密瓜 零食水果吃个遍 你才不到九个月 却是十足小吃货 眼睛放光嘴巴动 伸...
    Aylin楚吟阅读 615评论 37 68