[TOC]
Istio采集指标prometheus+grafana方案
Istio的prometheus支持
prometheus在Istio中的现状
prometheus这个后端组件涉及到数据存储问题（levleDB，代码里面添加SDK，直接存储在本地磁盘），而且我们有自己的prometheus集群，因此不太建议直接使用官方自带的镜像，而是采用自己的prometheus集群。
先看看原理，mixer组件中遥测相关的对外提供的Kubernetes的Service的服务名是istio-telemetry，mixer对外开放的exporter的数据查询接口是/metrics；istio-telemetry开放了42422端口，用来采集istio-mesh指标，开放了9093端口，用来采集mixer本身的指标。查看istio-telemetry这个Service，可以看到如下配置：
- name: http-monitoring
port: 9093
- name: prometheus
port: 42422
另外就是还有一个envoy的指标，是通过statsd 转换为 prometheus 的，关于statsd exporter的更多信息查看这里，大体流程如下：
+----------+ +-------------------+ +--------------+
| StatsD |---(UDP/TCP repeater)--->| statsd_exporter |<---(scrape /metrics)---| Prometheus |
+----------+ +-------------------+ +--------------+
在Istio中，这个对外提供的服务名是Istio-statsd-prom-bridge，通过9102端口对外提供服务，通过kubectl get svc -n istio-system istio-statsd-prom-bridge可以查看到详细信息：
apiVersion: v1
kind: Service
metadata:
name: Istio-statsd-prom-bridge
namespace: Istio-system
labels:
chart: mixer-1.0.0
release: RELEASE-NAME
Istio: statsd-prom-bridge
spec:
ports:
- name: statsd-prom
port: 9102
- name: statsd-udp
port: 9125
protocol: UDP
selector:
Istio: statsd-prom-bridge
这里，如果修改istio-statsd-prom-bridge这个服务的Service type类型，则可能导致ingressgateway失败，因为istio-statsd-prom-bridge的IP失效异常了。查看ingressgateway的日志可以发现：
error initializing configuration '/etc/istio/proxy/envoy-rev0.json': malformed IP address: istio-statsd-prom-bridge
这个时候，可以通过删除ingressgateway这个pod，重启即可生效
Istio默认的metric监控指标
默认监控指标指的是使用初始配置时，Istio 收集的监控指标（metrics）的详细信息，可以通过更改配置来添加和删除指标，具体配置指标可以查看config.yaml配置文件中的kind: metric，这些指标都是通过metric 模板来定义的。
接入外部prometheus集群的方案
prometheus需要采用自己的服务，因此需要禁用，然后配置好相应的，注意服务要打通，可以采用NodePort方式，也可以采用ClusterIP（prometheus的Server端要打通网络），最优的姿势当然就是服务发现。需要将自己的prometheus集群里面的配置（scrape_config）的数据采集配置上mixer的地址和采集的端口（共三个端口），然后接口API是/metrics，这样自己的集群就能够采集到mixer的数据了：
-
istio-mesh (istio-mixer.istio-system:42422): 所有 Mixer 生成的网格指标
- 如果不要Mixer组件，则可以不进行监控，也没有这样的数据
- 这个是istio-telemetry组件提供的功能
-
mixer (istio-mixer.istio-system:9093): 所有特定于 Mixer 的指标, 用于监控 Mixer 本身
- 这个是istio-policy 组件提供的功能
-
envoy (istio-mixer.istio-system:9102): envoy 生成的原始统计数据（并从 statsd 转换为 prometheus ）
- 这个是istio-statsd-prom-bridge组件提供的服务
pre环境验证中可以将istio-telemetry和istio-statsd-prom-bridge的Service的Type的类型改为NodePort，然后通过端口映射查看；需要注意的是如果修改istio-statsd-prom-bridge的Service的Type的类型改为NodePort，则会导致ingressgateway失败，需要删除ingressgateway的pod进行重启生效。
然后可以通过各自的 /metrics 接口查看数据
如何处理prometheus服务发现
上述的方案都是通过NodePort的方式，这样的话，需要手动配置要采集的目标地址（ip:port/URI），但是线上应用应该要采用prometheus的服务发现功能，自动发现节点并采集，后面这个需要和运维同学沟通，如何实现自动发现服务
新增Istio的prometheus采集指标
新增Istio组件的采集指标，需要做相关配置，可以详见收集指标和日志
现有Istio默认的监控指标有这些
接入外部的grafana系统
Istio默认有grafana服务，并且已经有相关面板配置ok，只需要查看，但是因为我们公司自己已有一套成熟的prometheus+grafana方案，运维配套、权限管理、组织管理等比较成熟，并且运维还需要兼顾容器内的服务和容器外的服务，因此Istio中，更适合采用外部已有的grafana服务。
只是我们需要将现有Istio提供的这些面板都通过模板方式转移到运维的grafana中
实战部署外部自有系统
1. Mac安装部署prometheus + grafana
两个服务都采用二进制安装部署
启动prometheus：./prometheus；访问prometheus
-
启动grafana：/grafana-server ; 访问grafana
- 【默认密码：admin:admin】
- 【new密码：admin:123456】
- 添加数据源，添加prometheus的数据源
2. 配置prometheus的scrape_configs
配置prometheus的scrape_configs，新增Istio相关的采集
- job_name: 'Istio'
metrics_path: '/metrics'
static_configs:
- targets: ['172.31.2.2:32398']
labels:
group: 'Istio-mesh'
- targets: ['172.31.2.2:32697']
labels:
group: 'mixer'
- targets: ['172.31.2.2:32744']
labels:
group: 'envoy'
然后重启prometheus，通过http://172.31.36.68:9090/config查看
然后查看采集指标，搜索isito，发现有了数据
3. 配置grafana的DataSource
先add data source，设置默认的数据源，在setting中的type中选择prometheus，url选择地址http://172.31.2.2:9090，然后save and test
3. 配置grafana
在原有grafana系统中，Share dashboard，然后Export到文件，然后再在新的grafana中import Json file，然后选定prometheus即可。这样默认得到是DashBoard是无法编辑的，如下两个方式可以调整为可编辑状态：
导出的Json File，需要修改editable为true，否则不能修改只能查看
-
或者新版可以通过admin账号来Make dashboard editable
- Setting -> General -> Make Editable
问题 & TODO
- 如何动态的处理prometheus的服务发现
【"欢迎关注我的微信公众号：Linux 服务端系统研发，后面会大力通过微信公众号发送优质文章"】
