动态线程池框架(DynamicTp),监控及源码解析篇

大家好,动态线程池项目DynamicTp开源一个多月,目前400多star,说明还是比较受欢迎的,现在已经有一些小伙伴在接入使用或者即将接入使用了,为了项目以后更好的发展迭代,打算出几篇文章来对DynamicTp做一些更详细的介绍,有兴趣的小伙伴欢迎一起参与进来完善迭代项目。

背景啥的可以看前一篇文章介绍
美团动态线程池实践思路,开源了


项目地址

感谢star,欢迎pr,业务之余给开源贡献一份力量

gitee地址https://gitee.com/yanhom/dynamic-tp

github地址https://github.com/lyh200/dynamic-tp


系列文章

美团动态线程池实践思路,开源了

动态线程池(DynamicTp)之动态调整Tomcat、Jetty、Undertow线程池参数篇


代码结构

[图片上传失败...(image-c075a3-1650294552989)]

1.adapter模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有SpringBoot内置的三大web容器(Tomcat、Jetty、Undertow)的线程池管理,后续可能接入其他常用组件的线程池管理。

2.common模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样做。

3.core模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此。

4.example模块:提供一个简单使用示例,方便使用者参照

5.logging模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件

6.starter模块:集成各个配置中心实现动态更新配置,目前已经集成Nacos、Apollo两个主流配置中心,使用者也可以参照扩展其他配置中心实现,客户端使用也只需引入相应starter依赖就行。

可以看出,项目还是比较简单的,相当轻量。配置解析、报警平台、配置中心、监控数据输出、拒绝策略等都提供有SPI接口供使用者扩展,高度可定制化(自定义实现也可以提PR合并到项目中供他人使用)。

个人还是有比较强的代码洁癖的,所以代码这块也还是比较干净的(基本没有warning提示),也大量使用一些设计模式优化代码结构,可读性还是比较强的,可以一起交流学习。
[图片上传失败...(image-118145-1650294552989)]


关于扩展

1.扩展配置解析

目前支持的配置文件格式有yaml和properties,如果要扩展其他类型,参考其他两个实现继承AbstractConfigParser类,实现相应方法就行。

[图片上传失败...(image-648e65-1650294552989)]

2.扩展报警平台

目前支持的报警平台有钉钉和企业微信,如果要扩展其他平台,参考其他两个实现继承AbstractNotifier类,实现相应方法就行。

[图片上传失败...(image-653563-1650294552989)]

3.扩展监控数据输出

目前监控指标数据支持以JsonLog输出到指定位置和MicroMeter采集两种方式,如果要扩展其他实现,参考其他两个实现继承AbstractCollector类,实现相应方法,然后把配置文件中的collectorType字段配置该类型就行

[图片上传失败...(image-af5570-1650294552989)]

4.扩展配置中心

目前支持的配置中心有Nacos和Apollo两种,如果要扩展其他实现,比如ZK、Consul等可以参考其他两个实现继承AbstractRefresher类,实现相应方法就行

[图片上传失败...(image-3b6c0a-1650294552989)]


源码怎么读

对源码感兴趣的朋友可以从DtpRegistry这个类入手去读
[图片上传失败...(image-3f80a0-1650294552989)]

围绕注册、获取、刷新这三个核心api去跟代码

注册

注册有两处,都是在spring容器启动时在Bean创建的不同阶段执行,对spring不熟悉的小伙伴随便可以去阅读下spring创建bean的源码,代码里也大量使用了spring的事件机制做代码解耦

1.spring容器启动时DtpPostProcessor会去注册在代码中通过@Bean声明的线程池实例

2.afterPropertiesSet方法会拉去配置中心配置的线程池然后实例化

刷新

配置中心的listener监听到配置文件的变动后,解析配置文件,然后通知DtpRegistry去更新线程池配置,完之后发送变更通知到配置的平台

监控

服务启动后启动一个定时器去做监控报警,可以看DtpMonitor这个类

报警

报警这块代码做了一些抽象设计,运用了像模板方法模式等,代码可读性还是挺强的

看完代码之后你就会发现其实项目挺简单的,但是实用啊,核心代码也就是在元旦那三天写的。


接入使用

建议在配置中心单开一个配置文件,配置文件名称配置到相应字段上。

由于代码一直在迭代中,发布的maven依赖可能不是最新的,线上要使用时可以找我确认下依赖版本。

具体使用步骤上篇文章有讲,可以去看
美团动态线程池实践思路,开源了

这个项目我觉得最大的优点也就是轻量,因为各个公司使用的组件体系都可能不太一样,所以留有足够多的扩展点让自己来扩展。下面一节主要介绍集成prometheus+grafana做监控


监控

这块要讲的是集成prometheus+grafana做监控,事先你得安装好prometheus+grafana,这个就不展开讲了,网上教程很多,测试使用可以直接用docker安装,非常简单。

1.首先配置文件中开启micrometer数据采集

   enabledCollect: true
   collectorType: micrometer

2.项目中引入prometheus依赖,注意可能有版本不兼容问题,我测试遇到过

  <dependency>
      <groupId>io.micrometer</groupId>
      <artifactId>micrometer-registry-prometheus</artifactId>
      <version>1.8.3</version>
  </dependency>

3.开启prometheus指标采集端点

management:
  metrics:
    export:
      prometheus: 
        enabled: true
  endpoints:
    web:
      exposure:
        include: '*'   # 线上最后不要*

4.配置prometheus数据采集job,这块可以去了解下他的SD机制(Service Discovery),也就是自动到配置中心发现服务,看你所用的配置中心支不支持这种方式,可以去官网查看,好像是不支持nacos的,但可以去github看有没有别人提供的实现,ZK,Eureka、Consul这些是支持的。这里使用static_configs方式,简单的指定地址的静态配置

- job_name: 'dynamic-tp'
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ['192.168.2.104:9098']

job配置后prometheus管理台看到如下图所示,说明已经开始正常采集指标配置

[图片上传失败...(image-935208-1650294552989)]

5.然后就是配置grafana数据可视化,配置如下图,需要该panel配置Json的可以加我发你,到这里监控就搭建起来了,其实也很简单,然后就可以实时监控线程池数据指标变动了

[图片上传失败...(image-b499b-1650294552989)]


联系我

对项目有什么想法或者建议,可以加我微信交流,或者创建issues,一起完善项目

公众号:CodeFox

微信:yanhom1314

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容