预发环境--产品质量的最后一道防线

目标

1、对于大多数应用,可以在白天验证并发布。

2、让预发环境更贴近生产环境,而不是测试环境的拷贝。(现在的预发环境连接的数据库数据和生产环境相差很大)

3、以低成本对新版本程序的上线验证,而不会影响真实用户对旧版本程序的请求。

4、便于在预发环境跟踪定位线上的问题。(甚至可以在预发环境断点调试线上的疑难问题,可能是数据不一致导致,也可能是因为网络不一致导致)

背景

我们现在的发布特点是:晚上11点开始执行发布,先执行数模、修改配置项,再是对应用程序的滚动发布,最后是测试人员介入--开始验证。

当遇到不明确的问题或者调整的功能点比较多,那么验证的周期就会被延长。最后测试人员根据线上运行情况,告诉运维人员是回滚还是验证通过。

有几个地方值得改进:

  • 一是对于大多数程序的发布,并不涉及复杂的数模变更,甚至可能没有数模变更。 当有数模变更的时候,我们一定是先执行数模,需要兼容新旧版本的程序。

  • 二是滚动发布,缺少对新版本程序的临上线前的验证。(这也是我们为什么必须得选择在夜晚11点发布程序)

一、发布环境

预发 生产 是否共用
数据库等中间件(mysql/mongodb/redis/es) 生产 生产
DNS(域名解析) 预发 生产
API网关 预发 生产
注册中心 预发 生产
xxl-job 预发 生产
MQ(发布订阅模式) 预发 生产
配置中心 预发 生产
应用程序 1.1.x版本(高版本) 1.0.x版本(低版本)
预发环境与正式环境.png

二、预发环境与生产环境的区别

1、访问的域名不同

虽然它们的域名均是对外的,但是预发环境的域名不对外。

2、应用节点的个数不同

预发环境往往只需要一个,而生产环境至少两个。

三、蓝绿发布与灰度发布的区别

1、灰度发布是不同版本共存,而蓝绿发布是新旧版本替换。

(因为有了预发环境,以比较低的成本,允许不同版本的程序共存,方便上线前的最后验证)

2、灰度发布一定是需要灰度规则的,蓝绿发布则是通过不同域名将真实用户的请求和我们的测试请求隔离开来。

3、灰度发布,适用于对产品的A/B测试,对流量分发可以精准控制,给产品和运营人员进行对比分析;

四、蓝绿发布与滚动发布的区别

1、蓝绿发布是会将测试和真实流量进行隔离开来,而滚动发布是没有做流量切换,新旧版本的程序均可能同时接受请求。

2、滚动发布,相对比蓝绿发布,无法确定Ok的环境,不易回滚。

五、适用场景

1、无数模变更的发布,毫无疑问,适用于蓝绿发布。

2、使用生产数据做验收测试。减少因使用测试数据导致的漏测,加强数据兼容测试。

(比如说,支付服务中的商户ID、密钥、证书等,只有在生产环境才存在,而无法在非生产环境得到充分验证)

3、避免因为环境的差异,而影响至测试和产品等部门对迭代功能的验收。

4、贴近线上环境,且作为上线前的最后一道流程,可排除上生产环境时出现的缺少配置或缺少数据等问题。

五、注意点

1、测试

在测试环境,需要整理出完善的配置项修改清单、数模变更清单;尽量减少遗漏或错误,这一点要求更加严格。

2、DBA

执行数模前,DBA和开发负责人根据锁表等影响进行分析,选择合适的时间点进行。

比如,预计应用程序的发版时间为12月10日下午,如果考虑到执行影响用户的使用体验,可以提前在12月9日晚上11点执行数模变更。

另外,数模变更后期纳入系统审计里,让整个数模变更更加规范。

概括来说,数模又分为DML和DDL语句。

  • DML重点需要审核update语句,涉及更新的表体量大小,需要执行的时长,会不会锁表,会不会影响线上用户的使用。
  • DDL重点需要审核索引的新建和删除、字段的新增和删除。索引的创建,考虑点同上,字段的新增和删除,详细见下示例。

举例说明:用户表,原先有user_id, user_name, age, desc等字段,此次功能迭代,增加了gender性别属性,不需要了age年龄属性。

错误示例:``alter table student add gender varchar(``8``) not ``null` `COMMENT ``'性别'``;
``alter table student drop age;
正确示例:``alter table student add gender varchar(``8``) not ``null` `COMMENT ``'性别'``;`` ``-- 不能删除新版本不需要的字段age,因为旧版本还依赖于字段age。

3、开发人员

  • 操作数据存储层时,养成编写回滚方案的习惯,考虑好如何兼容应用依赖的新老数据。

六、发布流程

1、在预发环境执行数模变更,修改分布式配置项。

2、重启预发环境的应用

3、配置xxl-job的分布式任务

4、预发验证,待成功后,开始发布正式环境的应用,类同预发环境的操作(数模、配置、xxl-job、api网关)

5、把预发环境下的Jar包下发到正式环境的目标机

6、在正式环境,进行滚动发布

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容