Zipkin与Elasticsearch最佳实践

ZipKin是什么

zipkin是Twitter基于google的分布式监控系统Dapper(论文)的开发源实现,zipkin用于跟踪分布式服务之间的应用数据链路,分析处理延时,帮助我们改进系统的性能和定位故障。
Dapper论文地址

ElasticSearch是什么

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。

Dapper

  • 两点需求
    无所不在的部署,持续的监控
    三个具体设计目标
  • 低消耗
    跟踪系统对在线服务的影响应该做到足够小
  • 应用级透明
    对于应用的程序员来说,是不需要知道有跟踪系统这回事的
  • 延展性
    在未来几年的服务和集群的规模,监控系统都应该能完全把控住 一个额外的设计目标是为跟踪数据产生之后,进行分析的速度要快,理想情况是数据存入跟踪仓库后一分钟内就能统计出来。

ZipKin详解

应用背景

大型互联网公司为什么需要分布式跟踪系统?为了支撑日益增长的庞大业务量,我们会把服务进行整合、拆分,使我们的服务不仅能通过集群部署抵挡流量的冲击,又能根据业务在其上进行灵活的扩展。一次请求少则经过三四次服务调用完成,多则跨越几十个甚至是上百个服务点。如何动态展示服务的链路?如何分析服务链路的瓶颈并对其进行调优?如何快速进行服务链路的故障发现?这就是服务跟踪系统存在的目的和意义。

设计要点

  • 对应用透明、低侵入
  • 低开销、高稳定
  • 可扩展
    对于服务降级系统、分布式跟踪系统和业务监控系统等,这三点都是必须的

系统数据流主要分为三个步骤:采集、发送和落盘分析

详解Span

一条完整的服务链路由Span组成
Span一般包含以下字段

  • traceId: 全局跟踪id,用于标识属于同一服务链路
  • id: span的id,再traceId下唯一即可
  • parentId: 同一条链路上,有span有层级关系,类似xml, parentId用于标识父节点Span id
  • name: span的名称
  • timestamp: span创建的时间,用于体现采集的时间戳
  • duration: span的创建到采集结束所消耗的时间,即跟踪埋点服务调用的总耗时
  • annations: 基本标注列表,理解为span生命周期内重要时刻的快照,一般包含发生时刻(timestamp)、事件类型(value)、端点(endpoint)等信息

事件类型分类:

  • cs (客户端/消费者发起请求) customer send
  • cr (客户端/消费者接到应答) customer received
  • sr (服务端/生产者接收到请求) service received
  • ss (服务端/生产者发送应答) service send

binaryAnnotations
业务标注列表,如果某些跟踪埋点需要带上部分业务数据(比如url地址、返回码和异常信息等),可以将需要的数据以键值对的形式放入到这个字段中

传输库
Span由服务到Zipkin的收集器的传输库主要有3个:HTTP Kafka 和 Scribe

组成结构
主要有4部分组成

  • 收集器
  • 存储库
  • 搜索引擎
  • UI界面

存储库
Zipkin内置的存储库为 Cassandra 。该库在twitter广泛使用。 此处为插件化,在Cassandra基础上,推荐使用Elasticsearch和mysql。

搜索引擎
内部数据带有索引形式存储,搜索引擎提供了json api用于查找、分析tracer. WebUI是主要使用方。

WebUI
webUI用于更加具体形象的查询分析tracer.方便了zipkin的使用。该webUI内部是没有身份验证机制的。

权限访问

ZipKin的安装

最快的方式是获取最新的可执行jar包,下载地址如下:
https://search.maven.org/remote_content?g=io.zipkin.java&a=zipkin-server&v=LATEST&c=exec

或者Linux上执行如下命令:

curl -sSL https://zipkin.io/quickstart.sh | bash -s
java -jar zipkin.jar
注意点
Zipkin需要在 jre8 + 上执行
以上运行基于内存数据库,重启后数据消失,后面介绍将storage采用elasticsearch进行存储
集成库
针对java,封装了Brave 进行使用
权限访问UI
Zipkin登录认证
可以通过nginx请求转发增加认证

Centos环境:
安装nginx

yum install nginx
安装 htpasswd 命令
yum install httpd 
生成账号密码:
htpasswd -c /data/nginx/db/passwd.db elkadmin
-c 后面是生成的账号密码信息储存文件

Elasticsearch的安装

进入Elasticsearch官网(https://www.elastic.co/products/elasticsearch) ,点击右上角Download下载最新版
解压进入bin目录,./elasticsearch 进行front启动。
需要后台运行的话,执行: nohup ./elasticsearch >/dev/null 2>&1 &

Elasticsearch启动注意事项

Elasticsearch注意事项比较多。参考Elasticsearch注意事项文档

Zipkin与 Elasticsearch 结合启动

Linux上创建脚本

#!/bin/bash
QUERY_PORT=20510 STORAGE_TYPE=elasticsearch ES_HOSTS=http://172.17.20.231:9200 java -jar zipkin.jar
QUEYR_PORT 指定启动的端口
STORAGE_TYPE  制定存储类型
ES_HOSTS  指向elasticsearch服务
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 195,898评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,401评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,058评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,539评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,382评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,319评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,706评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,370评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,664评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,715评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,476评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,326评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,730评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,003评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,275评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,683评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,877评论 2 335

推荐阅读更多精彩内容