一种基于消息的云端会话列表差量更新设计实现

本文描述一种基于消息的会话列表差量更新的实现,也算是属于原创吧,哈。

先描述一下,用户在消息列表界面看到的“与某人或某个群的对话列表”,此处称为会话列表。

图片发自简书App

对,奏是这个图所示的列表。

本文描述的方案,在存储方面选用的存储是mongodb。其实在做之前没有特意为实现细节去选db,而是确定选用mongodb之后,基于它的特性来细化方案(对于海量数据级别的实现基于mongodb比较有优势,便于扩展,但是对于数据量较小的企业,选用mongodb作为存储有点尴尬,一个是小数据量对于存储的扩展要求不高,另一个是mongodb性能赶不上其他的nosql)。但是我相信基于其他的存储也可以做到。下面分开描述这个需求要做的事情。

1. 用户每次登录首先去拉取会话列表,差量返回有过修改(删除)或者有新消息(任何设备未拉取过)的会话列表,会话附带一条消息返回。

2. 要求会话列表是云端存储的,设备间要能同步。我在安卓手机上面做了删除会话Ca(C代表会话,a代表对方的id)操作,切换到另一台手机(比如苹果)需要告知会话Ca被删除。我在安卓手机与韩梅聊过天,并生成了会话记录Ua,切换到另一台手机,需要拉到这个会话Ua。

3. 要求消息是差量更新的,而且每个会话里只拉取最新的一条消息记录。差量更新时,只有包含新消息的会话才会返回。为了保证最省流量(帮助用户省流量的产品才是良心产品),没有新消息或者没有会话更改的,一律不返回数据。这个消息或会话差量更新的实现使用数据版本号来做。

客户端看到的会话伪代码数据结构简要描述如下:

conversation

{

uint32 delta_flag;//差量操作标志,增删

uint64 snapshot;//数据版本号

uint64 peer_id;//对方的id,标识与谁产生的会话

MsgInfo lastest_msg;//最新的消息

uint32 unread_msg_num;//本会话的未读消息数

}

差量会话同步数据的实现在客户端看来只有一步,具体在服务器的实现分为1.同步有过修改的会话列表,2.同步新消息,再根据消息生成会话列表,3.对1,2的结果做交集。

先介绍服务端在实现这个方案所涉及到的存储数据结构。

消息的存储结构简要伪代码:

MsgInfo

{

uint64 id;//这是给某人存储的消息

uint64 from_id;//消息发送方

uint64 to_id;//消息接收方

uint64 msg_id;//标识一条消息

uint32 msg_time;//消息的产生时间

string msg_content;//消息内容

}

会话的存储结构简要伪代码:

ConversationInfo

{

uint32 delta_flag;//差量操作标志,增删

uint64 snapshot;//数据版本号

uint64 peer_id;//标识与谁产生的会话

MsgInfo lastest_msg;//最新的消息

}

涉及到mongodb的特性:

mongodb是介于sql和nosql之间的产品,有sql域的概念。可以对文档的部分字段更新,可以在查询数据的时候指定排序的域及其排序方式,更新数据的时候匹配就更新或者不更新,更新数据时没有匹配就插入新数据,更新数据同时返回更新之后(或者更新之前的)的数据。

会话列表的更新时机及更新的字段:

每产生一条消息的时候,就会相应的为每个用户更新会话信息,更新的内容就是最新消息和差量操作标志(新增),还有一些支持其他特性字段,此处无关不列出了,但是此处不更新会话的数据版本号。

会话信息的更新时机有多个,上述做法会导致db写的复杂度上升。还有一种是同步的时候做更新。这种做法会导致db读的复杂度上升,暂不描述。

会话列表的删除时机及做法:

当用户手动删除某个会话或者清空会话列表时,会与服务器进行交互,客户端请求的参数包括会话的peer_id、当前会话中的最大消息id。peer_id用于查询会话,消息id用于判断请求是否已过期。如果是过期的请求,将不会删除会话。如果条件都符合,就将db中的会话进行标记删除,注意此处并没有将数据清除。

接下来描述删除请求过期场景:

1. 用户在设备A没有联网的情况下手动点删除会话Cc,本地将会话删除,同时将这个删除请求缓存在本地,等待下次联网时告知服务器。然后用户在设备B与用户c聊天,聊完之后并未删除这个会话Cc。之后设备A联网,将之前缓存的删除请求上传服务器执行,此时服务器将Cc标记删除,但是用户在设备B上并未删除会话Cc,导致设备B的数据与服务器不一致。这就是A的删除请求过期导致数据不一致。

2. 用户在某个时间点手动删除会话Cc,本地会话先清空,在这个删除请求未在服务器执行之前,c发过来一条消息,服务器更新了会话列表,然后客户端也同步消息到本地,本地再次生成这个会话,之后服务器执行删除操作。现在的情况是服务器认为会话已删除,本地则是新增会话,数据出现不一致。

所以为了解决请求过期导致的数据不一致问题,我们在请求中添加了操作版本号(不过此处使用的是最大消息id)。删除操作时,当服务器判断到客户端请求中的消息id小于服务器会话中保存的消息id,就不执行删除操作。

会话列表的同步:

用户登录完成之后就要同步会话列表,其请求的参数包括本地会话最大版本号和本地消息的最大版本号。两个版本号共同用于差量同步会话列表。

会话列表的最大版本号只能同步到用户手动更新过的会话列表,并不能同步到有新消息的会话列表,因为有消息产生的时候并没有更新会话列表的版本号。[1]

消息的最大版本号则用于同步新消息,服务器使用消息生成会话列表,并与上述同步到的会话列表做合并,两者合并的结果就是差量的会话列表。[2]

优化的点:

当客户端请求中的会话最大版本号为0时,仅仅通过[1]就可以把全量会话列表同步到,不需要再同步消息。因为会话列表中已经有最新消息。同时,删除的会话列表也不用返回,因为本地数据是空的,返回删除过的会话列表毫无意义。

单人消息的会话列表机制db访问时间复杂度:

产生一条消息会为消息双方更新会话信息,这里有两次写操作,所有设备共用这个信息。

拉取会话列表时,一次遍历会话列表操作,一次遍历新消息操作,故有两次读操作。

所以平均db访问时间复杂度为O(k),k为常量4

群消息的会话列表机制db访问时间复杂度:

产生一条消息会为群里所有用户更新会话信息,有n次写操作。

拉取会话列表时与单人一致。

所以平均db访问时间复杂度为O(n+k),n为群用户数,k为常量2。所以对于群的会话列表实现需要进行方案修改。

xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

会话列表同步优化:

上述流程是

1.同步有过修改的会话列表,

2.同步新消息,再根据消息生成会话列表,

3.对1,2的结果做交集。

可以优化为

1.同步会话版本号比客户端请求中的版本号大的或者消息版本号比客户端请求中的消息版本号大的会话列表,

2.直接返回上述结果。

因为会话中的消息是最新的,只要满足(服务器会话版本>客户端会话版本 或者 服务器消息版本>客户端消息版本)这个条件,下发的会话列表一定是差量包含最新消息的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容

  • 点击查看原文 Web SDK 开发手册 SDK 概述 网易云信 SDK 为 Web 应用提供一个完善的 IM 系统...
    layjoy阅读 13,674评论 0 15
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,599评论 18 139
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,869评论 6 13
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,502评论 25 707
  • 这是偶遇简书后的第一篇文字。常规观后感。 >>> ——传说中。你为爱甘心被搁浅。 《美人鱼》。第一次一部电影出现了...
    路小宛阅读 123评论 0 0