一个Socket能否被多线程写入(转)

C语言出身,看dubbo服务时多线程共享一个长连接时,在想为什么不会出现数据写乱的情况(不是粘包的那种),也就是一个socket缓冲区中,先写了A包的一部分,又写了B包的一部分,再写了A包的一部分???


转自网络https://www.jianshu.com/p/61079795896b

“b”数据包只出现了一次,在数据包50。通过wireshark我计算出来前49个数据包一共是390800字节,每次a都是32768一组,那么前49个数据包发送了390800/32768.0= 11.9组“a”。注意:这是一个小数,也就是说最后第12块数据应该全是“a”而这10bytes的“b”完全是“乱入”。

分析

先看一下write方法的工作过程(所有的网络写入其实都是这个系统调用)


write函数最终会调用内核中的tcp_sendmsg函数,数据先被复制到tcp buffer中(这是位于内核的一块存储空间,大小是由参数tcp_wmem控制的),然后加上TCP头、加上IP头,丢给物理网卡。物理网卡中有一块发送队列的存储空间用来存放所有待发送数据。这个发送队列比较特殊是“环形”结构(ring),如果数据太多来不及发送会被丢弃掉(与之对应网卡还有“接收队列”,也是ring结构)。

虽然这个函数开始的时候通过lock_sock 上了锁但是它绝对仅仅代表是线程安全而不是无状态一个的函数。

无状态是指,只要输入的参数一样那么得到的结果应该是一致的;而线程安全是指两个线程可以同时访问。所以无状态一定是线程安全的,而反之则未必。

A、B两个线程,其中A每次写入32k,32k可能会被拆分成多次写入(根据buffer剩余空间决定真正能写入多少数据);B每次写入10bytes。如果内存不足(图中的wait_for_sndbuf和wait_for_memory)只写入一部分数据那么内核会调用sk_stream_wait_memory等待内存,而这个函数里面会释放sk。完整的调用链sk_stream_wait_memory->sk_wait_event->lock_sock。

当A写入数据的时候资源不足所以写入不完整于是释放资源,而B此时有机会被执行后刚好资源得到释放,于是写入成功;而A再次被执行的时候继续写入未完成的数据时,B已经“乱入”成功

深度分析

如果你去做实验的话可能无法重现我上面的错误,因为这个问题跟语言有关

首先,tcp_sendmsg不承诺“无状态”(或者叫原子性),这比较容易理解——毕竟send buffer满了,线程等待内存空间此时不应该继续占着“socket”(文件描述符)。内核要保证进程不被饿死,让资源尽可能的最大化的发挥作用。

那么做出“无状态”承诺的只能是应用程序,除了C语言之外其他的编程语言都不是直接调用systemcall,所以势必对socket写入函数做各种合理封装。

经过我实验发现Python、C语言会出现问题,而Java和Golang不会出现问题。以Java为例(SocketOutputStream.java):

这个函数没有返回值,它先对文件描述符(FD)加锁,然后一直尝试写入直到写入完len长度的数据为止。

Golang也有类似的实现,而Python中它的实现是这样的

看到了吗?虽然一直在调用write(system call)写入,但是并没有对文件描述符加锁,所以Python的实现不承诺“无状态”。

而C语言的实现基本上和Python的实现一样。

正确方式

有三种办法解决这个问题

1. 统一由一个Writer线程负责写入,其他线程通过Queue发送数据给Writer;

2. 每个线程各自启动一个TCP连接,不考虑连接复用(其实开销真不大);

3. 参考Java或者Golang的实现,为write加上锁;


转自:http://www.10tiao.com/html/254/201712/2648945984/1.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,607评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,047评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,496评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,405评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,400评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,479评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,883评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,535评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,743评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,544评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,612评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,309评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,881评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,891评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,136评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,783评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,316评论 2 342

推荐阅读更多精彩内容