使用 Thanos 实现 Prometheus 高可用和监控数据持久化

thanos 官方主页：https://thanos.io/

thanos 逻辑架构图

thanos 主要组件

sidecar: 和 prometheus 部署在同一节点，收集 prometheus 的数据，并持久化到对象存储（比如阿里云OSS），同时提供查询接口给 query 查询数据
query: 查询 sidecar 的数据（一般是两小时内的数据，可配置）和 store gateway 的数据（一般是超过两小时的持久化数据，可配置）
store gateway: 提供查询接口给 query 来查询在对象存储（比如阿里云OSS）的持久化数据

thanos 系统部署架构图

示例环境

节点1（CentOS 7.x / 172.18.255.129 / 119.23.40.213）: promethues + thanos sidecar + thanos store gateway + thanos query
节点2（CentOS 7.x / 172.18.255.130 / 120.79.71.229）: promethues + thanos sidecar + thanos store gateway + thanos query

部署过程

1、节点1（172.18.255.129/119.23.40.213）部署 prometheus

# cd /usr/local/src/
# wget https://github.com/prometheus/prometheus/releases/download/v2.28.0/prometheus-2.28.0.linux-amd64.tar.gz
# tar xvf prometheus-2.28.0.linux-amd64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -s prometheus-2.28.0.linux-amd64/ prometheus
# cd prometheus

// 这里需要声明 external_labels，给 prometheus 打上标签
// prometheus 高可用集群的第 1 个节点，region 设置为 cn-shenzhen，replica 设置为 1
# vim prometheus.yml 
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
  external_labels:
    region: cn-shenzhen
    monitor: infrastructure
    replica: 1

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']


// --web.external-url= 修改为对应节点的对外访问 IP
# vim /etc/systemd/system/prometheus.service
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/usr/local/prometheus/data/ --storage.tsdb.min-block-duration=2h --storage.tsdb.max-block-duration=2h --storage.tsdb.retention.time=2h --storage.tsdb.wal-compression --web.enable-lifecycle --log.level=info --web.listen-address=0.0.0.0:9090 --web.external-url=http://119.23.40.213:9090

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable prometheus && systemctl start prometheus && systemctl status prometheus

2、节点2（172.18.255.130/120.79.71.229）部署 prometheus

# cd /usr/local/src/
# wget https://github.com/prometheus/prometheus/releases/download/v2.28.0/prometheus-2.28.0.linux-amd64.tar.gz
# tar xvf prometheus-2.28.0.linux-amd64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -s prometheus-2.28.0.linux-amd64/ prometheus
# cd prometheus

// 这里需要声明 external_labels，给 prometheus 打上标签
// prometheus 高可用集群的第 2 个节点，region 设置为 cn-shanghai，replica 设置为 2。
# vim prometheus.yml 
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
  external_labels:
    region: cn-shanghai
    monitor: infrastructure
    replica: 2

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']

// --web.external-url= 修改为对应节点的对外访问 IP
# vim /etc/systemd/system/prometheus.service
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/usr/local/prometheus/data/ --storage.tsdb.min-block-duration=2h --storage.tsdb.max-block-duration=2h --storage.tsdb.retention.time=2h --storage.tsdb.wal-compression --web.enable-lifecycle --log.level=info --web.listen-address=0.0.0.0:9090 --web.external-url=http://120.79.71.229:9090

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable prometheus && systemctl start prometheus && systemctl status prometheus

3、节点1（172.18.255.129/119.23.40.213）部署 thanos，并配置组件 thanos sidecar 和 thanos store gateway

# cd /usr/local/src/
# wget https://github.com/thanos-io/thanos/releases/download/v0.21.1/thanos-0.21.1.linux-amd64.tar.gz
# tar xvf thanos-0.21.1.linux-amd64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -s thanos-0.21.1.linux-amd64/ thanos
# cd thanos

// 配置 thanos sidecar，实现收集 promethues 高可用集群的第 1 个节点的监控数据，并持久化到阿里云 oss
// 阿里云 oss bucket 请自行开通并配置好 access_key_id 和 access_key_secret，后面的步骤都是使用这个 bucket
# vim aliyun-oss.yaml
type: ALIYUNOSS
config:
  endpoint: "oss-cn-shenzhen-internal.aliyuncs.com"
  bucket: "prometheus-persistent-data"
  access_key_id: "XXX"
  access_key_secret: "XXX"

# vim /etc/systemd/system/thanos-sidecar.service
[Unit]
Description=Thanos Sidecar
After=network-online.target

[Service]
Restart=on-failure
# --prometheus.url=http://localhost:9090 --> 指定本节点的 prometheus 地址
# --tsdb.path=/usr/local/prometheus/data/ --> 指定本节点的 prometheus 数据目录
ExecStart=/usr/local/thanos/thanos sidecar --prometheus.url=http://localhost:9090 --tsdb.path=/usr/local/prometheus/data/ --objstore.config-file=/usr/local/thanos/aliyun-oss.yaml --grpc-address=0.0.0.0:19090 --http-address=0.0.0.0:19091

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable thanos-sidecar && systemctl start thanos-sidecar && systemctl status thanos-sidecar


// 配置 thanos store gateway，实现读取对象存储（比如阿里云OSS）的数据，并提供给 thanos query 查询
# vim /etc/systemd/system/thanos-store-gateway.service
[Unit]
Description=Thanos Store Gateway
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/usr/local/thanos/thanos store --data-dir=/usr/local/thanos/data --objstore.config-file=/usr/local/thanos/aliyun-oss.yaml --http-address=0.0.0.0:10902 --grpc-address=0.0.0.0:10901

[Install]
WantedBy=multi-user.target

# systemctl daemon-reload && systemctl enable thanos-store-gateway && systemctl start thanos-store-gateway && systemctl status thanos-store-gateway

4、节点2（172.18.255.130/120.79.71.229）部署 thanos，并配置组件 thanos sidecar 和 thanos store gateway

// 安装 thanos
# cd /usr/local/src/
# wget https://github.com/thanos-io/thanos/releases/download/v0.21.1/thanos-0.21.1.linux-amd64.tar.gz
# tar xvf thanos-0.21.1.linux-amd64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -s thanos-0.21.1.linux-amd64/ thanos
# cd thanos


// 配置 thanos sidecar，实现收集 promethues 高可用集群的第 2 个节点的监控数据，并持久化到阿里云 oss
# vim aliyun-oss.yaml
type: ALIYUNOSS
config:
  endpoint: "oss-cn-shenzhen-internal.aliyuncs.com"
  bucket: "prometheus-persistent-data"
  access_key_id: "XXX"
  access_key_secret: "XXX"

# vim /etc/systemd/system/thanos-sidecar.service
[Unit]
Description=Thanos Sidecar
After=network-online.target

[Service]
Restart=on-failure
# --prometheus.url=http://localhost:9090 --> 指定本节点的 prometheus 地址
# --tsdb.path=/usr/local/prometheus/data/ --> 指定本节点的 prometheus 数据目录
ExecStart=/usr/local/thanos/thanos sidecar --prometheus.url=http://localhost:9090 --tsdb.path=/usr/local/prometheus/data/ --objstore.config-file=/usr/local/thanos/aliyun-oss.yaml --grpc-address=0.0.0.0:19090 --http-address=0.0.0.0:19091

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable thanos-sidecar && systemctl start thanos-sidecar && systemctl status thanos-sidecar


// 配置 thanos store gateway，实现读取对象存储（比如阿里云OSS）的数据，并提供给 thanos query 查询
# vim /etc/systemd/system/thanos-store-gateway.service
[Unit]
Description=Thanos Store Gateway
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/usr/local/thanos/thanos store --data-dir=/usr/local/thanos/data --objstore.config-file=/usr/local/thanos/aliyun-oss.yaml --http-address=0.0.0.0:10902 --grpc-address=0.0.0.0:10901

[Install]
WantedBy=multi-user.target

# systemctl daemon-reload && systemctl enable thanos-store-gateway && systemctl start thanos-store-gateway && systemctl status thanos-store-gateway

5、节点1（172.18.255.129/119.23.40.213）配置组件 thanos-query，查询节点 1 和节点 2 的 sidecar、store gateway 数据

# vim /etc/systemd/system/thanos-query.service
[Unit]
Description=Thanos Query
After=network-online.target

[Service]
Restart=on-failure
# --store=172.18.255.129:19090 --> 请求当前节点 thanos sidecar 数据
# --store=172.18.255.130:19090 --> 请求另外一个节点 thanos sidecar 数据

# --store=172.18.255.129:10901 --> 请求当前节点 thanos store gateway 数据
# --store=172.18.255.130:10901 --> 请求另外一个节点 thanos store gateway 数据
# --query.replica-label "replica" --query.replica-label "region" --> 加上后，thanos query 查询同一节点的数据时，会自动去重
ExecStart=/usr/local/thanos/thanos query --http-address=0.0.0.0:19192 --grpc-address 0.0.0.0:19092 --store=172.18.255.129:19090 --store=172.18.255.130:19090 --store=172.18.255.129:10901 --store=172.18.255.130:10901 --query.replica-label "replica" --query.replica-label "region"

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable thanos-query && systemctl start thanos-query && systemctl status thanos-query

实现的效果：

6、节点2（172.18.255.130/120.79.71.229）配置组件 thanos-query，查询节点 1 和节点 2 的 sidecar、store gateway 数据

# vim /etc/systemd/system/thanos-query.service
[Unit]
Description=Thanos Query
After=network-online.target

[Service]
Restart=on-failure
# --store=172.18.255.130:19090 --> 请求当前节点 thanos sidecar 数据
# --store=172.18.255.129:19090 --> 请求另外一个节点 thanos sidecar 数据

# --store=172.18.255.130:10901 --> 请求当前节点 thanos store gateway 数据
# --store=172.18.255.129:10901 --> 请求另外一个节点 thanos store gateway 数据
# --query.replica-label "replica" --query.replica-label "region" --> 加上后，thanos query 查询同一节点的数据时，会自动去重
ExecStart=/usr/local/thanos/thanos query --http-address=0.0.0.0:19192 --grpc-address 0.0.0.0:19092 --store=172.18.255.130:19090 --store=172.18.255.129:19090 --store=172.18.255.130:10901 --store=172.18.255.129:10901 --query.replica-label "replica" --query.replica-label "region"

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload && systemctl enable thanos-query && systemctl start thanos-query && systemctl status thanos-query

实现的效果：

7、在负载均衡服务（比如 HAProxy、阿里云 SLB 等）配置两个节点的 thanos query ，就可以实现 thanso + prometheus 的高可用了，后续的查询操作都通过 thanos query 进行

其他

1、prometheus 的配置参数 external_labels 和 thanos query 启动参数 --query.replica-label "replica" --query.replica-label "region" 的作用

2、thanos 只会保留其中一个节点上传的持久化监控数据（根据配置，要 2 小时后才会上传到阿里云 OSS）

3、除了实现 prometheus 高可用场景，thanos 也可以用作多个 prometheus 的汇总查询入口，只需部署 thanos sidecar 和 thanos store gateway 到相应的 prometheus 节点，然后 thanos query 通过参数 --store=ip:port 连接 thanos sidecar 和 thanos store gateway 即可

最后编辑于：2021.07.03 02:29:29

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 203,456评论 5赞 477
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,370评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,337评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,583评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,596评论 5赞 365
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,572评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,936评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,595评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,850评论 1赞 297
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,601评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,685评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,371评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,951评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,934评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,167评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 43,636评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,411评论 2赞 342

使用 Thanos 实现 Prometheus 高可用和监控数据持久化

推荐阅读更多精彩内容