基本的部署流水线就是从提交开始逐步通过每个测试阶段的自动化的过程。越往前的阶段有更快的反应速度,越往后走,信心不断提升。打造部署流水线必须不可少的是:有用于证明某些版本满足业务要求的测试集合进行自动化,把测试环境,试运行环境和生产环境上的部署过程自动化。
1、部署流水线的阶段
提交阶段:从技术角度断言整个系统是可工作的。进行 1编译,2 运行一套自动化测试(单元级别),3进行代码分析
自动化验收测试阶段:从功能和非功能角度断言整个系统是可工作的,从系统行为上满足用户需要并符合客户的需求规范。测试人员需要实现一个“拉式系统”,测试团队只要自己单击按钮,就能将某个特定的软件版本部署到测试环境。使发布变成一件平常的事,同时支持自动安全回滚。
手工测试阶段:断言系统满足了它的系统要求,试图捕获自动化漏掉的缺陷,验证系统为用户提供了价值。包括探索性测试、集成环境上的测试以及UAT
注意:
提交阶段的自动化验证最好支持将测试返程多组的做法。
一般不需要验收测试成功后自动触发后续阶段,由测试人员或运维人员自服务
为了加速反馈循环,必须能够看到每个环境中都部署了哪个版本,每个构建版本在流水线中处于哪个阶段
2、实践中的TIPS:
1、只生成一次二进制包。二进制包一定要做到环境无关性。
2、对不同环境采用同一部署方式。每个环境多少会有不同(IP/中间件,数据库,外部服务),不要为每个环境建立单独的脚本,把那些与特定环境相关的特定配置分开放置。比如为每个环境保持一个属性文件,并放在版本控制库中,部署时通过本地服务器主机名找到正确配置。
3、对部署进行冒烟测试。应该非常简单,检查正常启动,所依赖的服务是否正常运行。
4、测试环境要和生产环境尽量相似。(基础设施相同(网络拓扑,防火墙等)、操作系统配置相同、应用程序软件栈)磁盘镜像或虚拟化技术
5、每次变更都要立即在流水线中传递。聪明的调度方法:一旦代码构建和单元测试结束,持续集成系统就去检查版本库中是否有新的提交,如果有,就把最近还没有构建的全部变更拿来构建。
6、有环节失败就应该停止整个流水线。提交测试部分可以逐渐加入验收和后续阶段中比较常见的失败类型的特定测试代码提交过程需要加入一些有用的度量项:
测试覆盖率
重复代码的数量
圈复杂度(cyclomatic complexity)
输入耦合度和输出耦合度(afferent coupling & efferent coupling)
编译警告的数量
代码风格
提交阶段是重要的关卡,过了以后开发人员就被从上一个任务中释放出来,开始做下一个任务。
7、自动化验收测试应该用业务语言来表达,而不是应用程序中所用的技术语言。所用的抽象层应该是业务行为层面,比如使用“下单”而不是“单击下单按钮”,使用“确认已拨款”而不是“检查资金表是否有交易记录”。
3、自动部署与发布:
生产环境中的大多数问题往往是由不充分的控制导致的。生产环境应该是完全受控的,即对生产环境的任何修改都应该通过自动化过程来完成。包括,部署、对配置、软件栈、网络拓扑以及状态的所有修改。管理生产环境的流程也应该用于测试环境。用以下步骤实现一个部署流水线:
step1:画出从提交到发布整个过程的价值流图。记录流程的每个步骤,包括对经历时间,增值时间的最佳估算。并且进行建模
step2:构建和部署过程的自动化。构建过程的输入是源代码,输出结果是二进制包。将生成的二进制包放在文件系统的某个地方,使整个团队都能通过持续集成服务器的用户界面获取。部署活动包含,为应用程序打包,安装和配置过程实现自动化,写自动化部署测试脚本看是否部署成功。
step3:自动化单元测试和代码分析。单元测试运行在一个xunit风格的框架上。一旦提交阶段的运行超过5分钟,就应把它们分成几份,以便并行执行。还可以运行一些静态分析工具。
step4:自动化验收测试。验收测试阶段最好保存一下应用程序的运行日志文件,应用程序有图形界面的话,也可以进行屏幕录像。
step5:大型应用程序最好由多个组件拼装而成,每个组件都应有一个对应的“迷你流水线”,然后在用一个流水线把所有组件拼装在一起,并运行整个验收测试集。
4、度量:
应该做整体优化而不是局部优化。因此,应该对整个流程进行度量,从而判定这个交付流程作为一个整体是否存在问题。这里面最重要的度量指标是周期时间(cycle time)
下面这些也是起到报警作用的有意义指标,但更多是要分析度量数据背后的原因,而这些度量更多是周期时间过长的原因:
自动化测试覆盖率
代码库的特征,重复代码,圈复杂度,输入输出耦合度,代码风格
缺陷数量
交付速度
每天提交到版本控制库的次数
每天构建的次数
每天构建失败的次数
每次构建所花的时间,包括自动化测试的时间。
5、流水线持续优化流程:
识别系统中的约束,就是整个流程中的瓶颈。比如手工测试
确保供应,确保最大限度地提高流程中这部分的产出。比如保证总是有用户故事等待手工测试,确保手工测试的资源不被其他工作占用。
根据这一约束调整其他环节的产出,比如,开发全力开发,等待测试的用户故事会越积越多。其他时间可以写点自动化测试来捕获缺陷。
为约束环节扩容。增加资源之类的。
理顺约束环节并重复上述步骤,找到下一个约束并优化。