Kafka系列第4篇:消息发送背后网络操作的那点事儿

​前言

上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事,并提出了消息发送的网络模型的问题。本篇文章我们来尝试揭开其背后的神秘面纱,耐心看完你一定会有所收获。

文章概览

1. Sender 线程的建连准备阶段和发送网络请求两阶段。

2. Selector 选择器处理网络请求过程。


Sender 线程的两阶段

上篇文章结尾提到了三个重要的方法,分别是 ready()、send()、poll()。其中 ready()和 send()可以理解为第一阶段,即建连准备阶段;poll()可以理解为第二阶段,即发送网络请求阶段。接下来对这两阶段做深入研究。

阶段流程说明

ready()阶段: 遍历节点列表,查询当前是否已建立连接,若已完成建连,则认为该节点可用;若还未建连,则判断该节点是否可以被连接,若是则建连。对于不可建连和正在建连的节点暂时还不能参与网络数据传输请求。

send()阶段: 通过 ready()阶段拿到了已经完成建连的节点,然后遍历节点,判断当前节点是否可以被发送数据,若可以则将当前节点对应的 RequestChannel 加入到 InFlightRequest 双端队列中去。为什么要将 RequestChannel 加入到一个双端队列中去呢?因为服务端为了保证服务端性能,一个服务端在同一时刻只能被一个客户端请求连接,如果上一个客户端请求还未完成,则不允许新的客户端请求连接。当客户端请求接收到服务端响应后,将对应的客户端请求从 InFlightRequest 队列中移除。

poll()阶段: 通过 ready()和 send()两阶段,完成了数据准备和可用节点检查。在上一篇中我们介绍到客户端是按照 Broker 分组,每组建立一个网络连接请求,每个网络连接请求管理多个网络连接通道,从而形成了一个连接同时与多个 Broker 进行网络数据传输。poll()方法采用了选择器(Selector)模式来处理这种网络模型,其底层是使用 Java 的 NIO 来实现的。

简单介绍下 Java NIO 的几个组件,想要深入了解的同学通过 Google 去了解。

SocketChannel: 客户端网络连接通道,在此通道上可进行数据的读写操作,比如将数据写入到通道中和将数据从通道中读取出来操作。

Selector: 选择器,通道是需要注册到 Selector 选择器上的,同时在注册后会返回一个选择器建,Selector 会通过选择器键来监听读写事件。

SelectorKey: 选择器键,通道注册到选择器上,同时返回了选择器键,从而使得选择器键和通道建立了关系。

以上三者之间的关系如下:

当有读写请求发生时,Selector 可以通过 SelectorKey 拿到对应的 SocketChannel,从而在 SocketChannel 上进行数据的读写请求。


Selector 选择器的实现原理

关于 Selector 选择器,我们从两个方面来介绍其背后发生了那些故事,分别是 建连过程和读写操作流程。

Selector 建连过程分析

Kafka建连过程

从上图可以看出,首先打开一个客户端连接 SocketChannel,然后对 Socket 设置一些参数,比如写入数据大小、接受数据大小、TCP 延迟等等参数。然后使用 SocketChannel 尝试建立连接。建连完成后将 SocketChannel 注册到 Selector 选择器上,并返回 SelectorKey。最后将 SocketChannel 包装成 KafkaChannel,并使用 SelectorKey 与 KafkaChannel 进行关联;为啥会出现 KafkaChannel 了呢?因为 Kafka 框架为了屏蔽 SocketChannel 内部的细节操作,所有就对 SocketChannel 进行了一层包装方便 Kafka 客户端操作。

附上源码供大家参考研究

Selector 选择器读写操作流程

读写流程图

从上图可以看出,以写操作为例,客户端轮询到写请求时,首先获取写请求对应的 SelectorKey,从而拿到对应的 KafkaChannel;然后将要发送的数据写入到 KafkaChannel 中;然后通过传输协议将数据交由底层的 SocketChannel;最后由 SocketChannel 将数据发送给 Broker,完成数据的发送请求。该过程中需要注意一个问题,Broker 在同一时间只能处理一个客户端请求,如果当前客户端请求还没被被处理完,下一个请求是不能被发送给服务端的。


总结

以上即为数据从客户端发送到服务端背后相关的网络操作故事;到此,关于生产者客户端的相关操作暂且分析到这里,关于客户端幂等性、消息重发等问题我们在后面专门用篇幅来讲解。下篇文章我们来分析一下消费者端消费消息背后的一些故事,敬请期待。

微信搜索公众号【z小赵】,更多系列精彩文章等你解锁

微信公众号搜索【z小赵】
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343