TCP协议下的粘包与拆包,如何解决

TCP协议下的粘包与拆包,如何解决

TCP协议下的粘包与拆包,如何解决一、粘包、拆包1.1 粘包原因1.1.1 滑动窗口1.1.2 Nagle算法1.1.3 应用层原因1.2 拆包原因1.2.1 滑动窗口1.2.2 MSS限制1.2.3 应用层原因1.2 Netty提供的解决方案二、自定义协议解决粘包、拆包2.1 自定义协议要素

一、粘包、拆包

1.1 粘包原因

1.1.1 滑动窗口

因为TCP/IP在起初,所有的请求是串行化的,之后做成了滑动窗口的概念。那么在接收方,如果接收不及时且窗口大小足够大,就可能出现粘包的情况。

1.1.2 Nagle算法

因为每次数据发送的时候,都需要加上消息头等特殊数据,TCP与IP协议分别会加20Byte数据,因此哪怕只是发送1Byte数据,最终接收方还是会接收到41Byte;在这样的背景下,Nagle算法可能会将多个数据包合并在一起发送。

1.1.3 应用层原因

接收方ByteBuf设置太大(Netty默认为1024Byte),因此如果客户端发送的报文都非常小,抛开上述1.1.1.1中的原因不谈,光在Netty这一处也非常容易出现粘包现象

1.2 拆包原因

1.2.1 滑动窗口

假设接收方的窗口只剩128Bytes,发送方的报文大小是256Bytes,这时放不下了,只能先发送前128Bytes,等待ack后,窗口有剩余空间了才会发送剩余部分,这就导致了拆包

1.2.2 MSS限制

当发送数据超过MSS限制后,会将数据切分发送,而这个MSS是根据不同类型网卡的限制来看,譬如某笔记本网卡可以发送1500Byte,除去一次数据包中的TCP/IP固定40Byte外,真正的数据也只能发送1460Byte。

1.2.3 应用层原因

Netty中ByteBuf设置的大小小于数据包大小。

1.2 Netty提供的解决方案

  • FixedLengthFrameDecoder (消息体定长处理)

    其继承了ByteToMessageDecoder,帮助开发人员写了decode方法

  • DelimiterBasedFrameDecoder、LineBasedFrameDecoder(结束/开始标记)

    其继承了ByteToMessageDecoder,帮助开发人员写了decode方法

    • DelimiterBasedFrameDecoder可以自定义数据包分割方式

    • LineBasedFrameDecoder默认以\n\r进行分割,一个是Windows OS,另一个是Linux OS下的换行符

  • LengthFieldBasedFrameDecoder

    相比于前三种Netty内置的解决方案,这一种方式更加灵活一些,但其灵活度仍然无法与自定义协议相匹敌

  • 除去Redis、Http协议之外采用自定义协议,具体见第二章节

    • Redis协议缺点:需要有大量的换行符,导致数据包数据不紧凑,浪费空间

二、自定义协议解决粘包、拆包

粘包、拆包是在本文第一章节说明,但由于自定义协议方式需要注意的细节很多有必要单独放在一个章节做出说明。

2.1 自定义协议要素

  • 魔术

    用来第一时间判定该数据包是否有效,如果Netty接受到魔术不正确的数据包可以直接丢弃

  • 版本号

    可以支持协议的升级

  • 序列化算法

    消息正文采用哪种方式序列化,需要对应的使用反序列化,常见的序列、反序列化方式有:json、protobuf、hessian、jdk方式

  • 指令类型

    该字段与业务相关

  • 请求序号

    为了双工通信,提供异步能力

  • 正文长度

    是指下面所说的消息正文经过序列化后且转换成字节数组的长度

  • 消息正文

    这里的正文是经过序列化后的字节数组

未完待续... ...

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,302评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,232评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,337评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,977评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,920评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,194评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,638评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,319评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,455评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,379评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,426评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,106评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,696评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,786评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,996评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,467评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,043评论 2 341

推荐阅读更多精彩内容