生产引流测试

点击链接加入QQ群229390571(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5rbudQa

“生产引流测试”的方法,这种方法的本质就是把生产系统发生的一切复制到测试系统上来。这种测试方法适合有大量用户的系统,如电商网站、电信计费系统、大型控制系统(如机场调度系统)等。这么做有两个好处:

1.能够让系统在真正上线以前就能够真正经受实践检验。多年来的测试实践告诉我们,测试永远是抽样活动,即使经过很大强度的充分测试,很多大型系统上线后仍然马上会产生这样那样的问题,有时候这些问题往往是致命的。

2.不会象灰度发布那样拿部分用户当小白鼠,引发部分客户不满;其实要实现灰度发布在一定程度上会增加系统架构复杂性,不是哪个公司都能玩得转。

当然生产引流测试必须满足一个前提:那就是已经有了生产系统,在特性升级或者技术重构的时候使用这招。 ^_^|||


生产引流测试的用法一般有如下几种:

1.非功能测试(主要是性能测试),看看将生产系统的压力引到测试系统后,测试系统会不会产生性能问题。这种测试往往非常有效,因为,我们做性能测试也是非常有局限性的:场景选取不可能跟真实用户带来的压力完全一致;网络、硬件环境也可能不一样;某些超大型网站根本没办法模拟那么大的压力,只能依靠缩量模型做测试并估算真实的性能。

非功能测试不太关注业务逻辑的正确性,因此我们可以从网络层进行生产引流,这样效率更高,模型更加简单。目前有一个非常不错的工具tcpcopy,非常适合web类产品。它的工作原理可见下图:

部署一个agent在onlineserver上。从tcp层截取数据包,然后生成向Testserver的请求数据包(通过换网络传输的数据包的包头),这样压力就传导到了Testserver上。Testserver的响应数据包被 Assistant server截获,截获后拆包,删除包中内容(减小部署在Online Server端agent的压力),封包,回复给Online Server上的agent(TCP协议要求必须有来有回)。Tcpcopy在网易,淘宝,去哪儿等很多公司都得到了非常好的应用,目前国外也有很多用户开始使用这个工具了,如果大家有兴趣可以查看作者在Github上的页面https://github.com/wangbin579/tcpcopy或者作者的博客:http://my.csdn.net/wangbin579很赞作者王斌!


2.功能测试

对于功能测试,单纯的使用tcpcopy就有些不足了。因为功能测试关注业务逻辑,我们一般要对结果内容进行比对,而不是简单的抛弃。而在网络层进行内容比对代价是非常大的,有时候是不可完成的任务,如非web类产品;另外,不同的技术架构造成了某些内容是无法简单在网络层复制的,如某些加密信道传输的内容、包含了认证信息的内容、对目标机器信息有依赖的内容。这样,我们就需要在应用层想办法,而不是在网络层。一般我们会在应用层加一个代理将请求和响应进行复制,这个代理根据被测系统的技术架构不同而不同,比如web服务器,可以搞一个反向代理来做这件事儿;银行、电信用的多的Message Queue 可以采取pubsub的模式;可以在交易中间件、企业总线上做一些改造,只要系统设计的不是太难搞,办法总是有的。

下面给出一个最简单的模型:它描述了技术重构的系统(功能上无变化)进行生产引流测试的思路。

实时对比:

在上图中:

红色箭头为生产请求数据。

蓝色箭头为生产响应数据。

绿色箭头为测试响应数据。

代理有2个作用:复制用户到生产系统的请求,引流到测试系统;复制生产系统的响应发送给对比器。

对比器的作用:比对同一请求生产系统和测试系统的结果是否一致,将结果生成报表。

比对是实时的。

请求和响应必须附加流水号:这样做比对的时候才会不那么费劲(应对异步的情况),否则

生产系统同测试系统的初始状态必须一致,不然做比对也会很困难:举例来说,电商网站中某种书的库存数。


实时比对的好处是:能够在出现bug的第一秒就发现它。但它也存在问题和局限性:生产系统与测试系统直接相连可能给生产系统带来风险,实际上在很多生产安全要求较高的公司,这么做是不被允许的


延时对比:

与实时比对相比,延时比对模型的变化如下:

代理的作用变成了纪录生产日志,有时候能够直接利用系统的日志模块数据,不用分流,性能压力减少了很多。

多了一个存储模块存储日志(有可能复用系统现有日志模块)

多了一个对比引擎,它的作用是:从存储取出成对的请求-响应的数据,将请求数据发送到测试系统,接收测试系统的响应,与存储中的响应结果比对,然后生成报表。

引擎可能要做比较复杂的日志分析工作:请求-响应配对,清洗无效数据,做数据筛选等。

由于做了隔离,基本上杜绝了测试系统污染生产系统的风险。

延时比对也有很多缺点:有很多技术架构,实时复制比记log再还原要付出的成本小很多;发现缺陷的时间点出现延迟。


对于业务升级类型的系统,业务流程或者计算逻辑发生了变化,使用生产系统数据进行比对的难度就大大增强了,但还是可以做,模型如下:

这张图跟上张基本一样,唯一的不同就是比对引擎变成了“加强型”比对引擎。

加强的地方表现在:对业务不同点进行处理,使得比对工作能够顺利进行。

有一些技术架构下,对不同点进行处理非常困难。例如,web应用,一个表单多了一项。你有可能要重写http请求的内容。


小结:是否要利用生产引流测试说到底还是一个工程型问题。一定要看它的投入产出比

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容