最近需要了解 Kafka 源码, 通过翻看 Kafka 源码, 发现该项目的模块化做的非常好. 简单来说可以分成如下几个模块:
参考2012年 Jay Kreps 画的一张 Kafka Broker Internals 的图:
感叹2012年至今, Kafka 大的架构基本上没有变化.
API/Network
通信模块. 官方文档 A Guide to the Kafka Protocol 不在多说
Metrics
发现这个方面没有人写的非常明白. 多说几句. Kafka 使用 Yammer 的 metrics-core 2.2 版本, 2.X 版本与 3.X 版本有很大区别. metrics-core 是支持 CSV 等方式吐出 Metric 数据的, 但是 Kafka 做了一层封装, 并且默认仅仅支持 JMX 方式暴露, 比较好的是 Kafka 集成了 MX4J 组件, 通过在server.properties中指定 kafka_mx4jenable=true mx4jport=端口 方式开启.
如果想使用 CSV 等其他方式暴露 Kafka Metric 数据, 需要做两件事:
- 实现
kafka.metrics.KafkaMetricsReporter这个 trait(再早的版本没有看源码), 包装一层, 实现数据获取的逻辑 (之前自己看错, 0.10.0.0 与0.8.2 版本相同) - 在
server.properties中使用metric.reporters=实现的Reporters逗号分隔方式开启对应的 Reporter
获取到了 Kafka 的 metrics 数据, 列几个我认为比较重要的 metric:
** kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions **
- 含义: 正在复制的 Partition 的数量.
- 建议报警阈值: > 0 就建议报警. 但如果 Kafka 集群正在 reassign partition 时, 这个值也会 >0
kafka.controller:type=KafkaController,name=OfflinePartitionsCount
- 含义: 没有 Leader 的 Partition 的数量. 处于这个状态的 Partition 是不可读也不可写
- 建议报警阈值: >0 一旦出现就报警.
kafka.controller:type=KafkaController,name=ActiveControllerCount
- 含义: 活跃的 Controller 的数量.
- 建议报警阈值: != 0 就赶紧报警
kafka.server:type=ReplicaManager,name=PartitionCount
- 含义: 集群中 Partition 的总数
- 建议报警阈值: 感觉这个报警不可控.
关于 metric 就说到这里.
参考: How We Monitor and Run Kafka at Scale -- by Signalfx
LogManager
日志子系统负责日志的存储和读取. 美团技术团队的博客的文章 Kafka文件存储机制那些事 写的非常好. 不多说.
ReplicaManager
Kafka 的 Topic 支持多个 Replica 高可用. 官方文档 Kafka Replication
KafkaController
一个 Kafka 集群中有会有一个Broker 作为 Controller 负责集群. 该子系统包含多个模块. 具体参考官方文档 Kafka Controller Internals
DynamicConfigManager
DynamicConfigManager 负责所有 Zookeeper 上的 /config 路径下的配置相关工作. 包含两个大的模块:
-
/config/clients客户端相关的配置 -
/config/topicsTopic 相关的配置
GroupCoordinator
参考文档:
- Kafka Detailed Consumer Coordinator Design
- Kafka 0.9 Consumer Rewrite Design
- Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client
总结
今天是第一天翻看 Kafka 源码, 整理一下系统和知识结构, 后续再挨个模块深入.
Kafka 依赖的多了, 熟悉源代码是必需的, 一旦出现未知的问题再去翻代码肯定是来不及的. 这也是我选择开源项目作为重要系统组件的一个原则.
-- EOF --
