Pipeline 实践:将 Jenkinsfile 与项目分离

背景

众所周知,配置pipeline需要在项目中配置一个Jenkinsfile文件,存放pipeline脚本(不考虑job中直接写脚本的方式,维护起来太繁琐)。

我猜这个设计的初衷应该是让开发人员能自己维护Jenkinsfile,但是对于多数互联网公司而言,这个环节一般是qa团队在维护。当Jenkinsfile散落在多个项目中时,维护起来也是一件麻烦事。有没有办法将Jenkinsfile都集中管理起来呢?

前段时间在知乎上看到一篇技术专栏,作者@pulord借助pipeline-multibranch-defaults插件巧妙的实现了Jenkinsfile和项目代码的分离。兴奋之余,赶紧尝试了一番,也在项目中实践了起来。在此分享一下使用过程和踩坑记录。

插件介绍--pipeline-multibranch-defaults

workflow-multibranch插件是一个能扫描项目分支、自动生成分支流水线job的插件,使用起来十分便利。

pipeline-multibranch-defaults插件正是由它修改而来,该插件作者在workflow-multibranch插件的基础上增加了Default Jenkinfile的功能。

简单来说,该插件除了能自动创建多分支的job以外,还能给这些job指定一个默认的Jenkinsfile,该Jenkinsfile可以配置在Jenkins中,无需在项目代码中配置。

1.插件详细介绍(原作者)
2.插件地址(Jenkins官方库)

将Jenkinsfile与项目分离

@pulord使用的方法比较巧妙,详细过程可以参看原文👉:Jenkins-Pipeline实践浅谈

大致流程如下:

0. 安装插件:pipeline-multibranch-defaults

1. 将不同项目、不同分支的Jenkinfile统一放置在一起,成为一个git项目。

按照以下目录结构存放Jenkinsfile:

#例:
--项目名称1
    -分支1
        -Jenkinsfile 
   -分支2
        -Jenkinsfile

--app_server
    -master
        -Jenkinsfile
    -dev
        -Jenkinsfile
# 备注:Jenkinsfile中就是各个项目/分支真正的流水线脚本,比如一个完整的声明式pipeline。

2. 在Jenkins系统管理中的Managed files中新建一个groovy脚本,作为默认的Jenkinsfile。

脚本内容如下:

#!/usr/bin/env groovy
import groovy.transform.Field

@Field def job_name=""

node()
{
    // 获取当前job名称。也可以按需自定义
    job_name="${env.JOB_NAME}".replace('%2F', '/').split('/')
    job_name=job_name[0]

    // 自定义workspace
    workspace="/data/jenkins/workspace/CI"

    ws("$workspace")
    {
        dir("pipeline")
        {   
            // clone Jenkinsfile项目
            git url: 'git@XXYY.com:pipeline.git'

            // 根据job name、构建分支,自动加载对应的Jenkinsfile
            def check_groovy_file="${job_name}/${env.BRANCH_NAME}/Jenkinsfile"
            load "${check_groovy_file}"
        }
    }
}

// 该脚本的作用:clone包含所有Jenkinsfile的代码库,根据项目名称load对应的Jenkinsfile.
// 与原作者有一点出入,我没有在自己的Jenkinsfile中定义start()函数,所以此处删去了调用。load之后便会自动执行pipeline脚本。个人猜测,原作者的Jenkinsfile采用脚本化语法

3. 新建Multibranch pipeline job,job名称保持和步骤1中的"项目名称"一致。 Build Configuration 中选择by default Jenkinsfile,输入步骤2中的script ID。

4. Done!👏👏👏

避坑

1. Multibranch job自定义构建的分支

使用该插件部署的job,默认会为所有分支创建单独的job。如果分支过多简直是噩梦...

想要指定构建的分支也很简单,只需在 “行为”配置项中新增一个“根据名称过滤”,然后写正则表达式即可。

2. Jenkinsfile中load自定义函数

作者的举例中有自定义一个common_util.grroovy函数库。在Jenkinsfile中使用该函数库时,不能以它们的真实路径load。

因为Jenkinsfile已经被Default-Jenkinsfile加载到了项目根目录,所以应该以项目根目录为起点,再去load common_util.groovy

3. 快速校验pipeline语法

编写声明式脚本时,总会遇到一些语法问题(官方文档也烂)。为了快速调试语法规范性,可以借助一款vscode插件---Jenkins Pipeline Linter Connector,实现一键校验脚本语法。

Jenkins官网有提及,详细使用可以参看插件作者介绍:插件地址

该插件的工作原理就是利用Jenkins的接口校验脚本的语法规范性。

4. 调试技巧

由于Jenkins服务器不在本地,每次调试都要先push代码,再执行job。不仅效率低,还会导致一些垃圾commit。

为了省事,换了一种思路:

就是用docker在本地搭一个Jenkins环境(当然,如果Jenkins环境就在本地再好不过了。在此顺便夸一下docker的便利性🙂),然后把Default Jenkinsfile中clone pipeline操作注释掉,直接在workspace目录下修改脚本,这样就省去了commit步骤。

(虽然方法粗暴,可是当时的瓜脑袋一直没想到,直到push了30多次才反应过来...)

5. 配置webhook

使用Generic Webhook Trigger插件即可。

不过关于它的使用,估计又能写一篇....🤦

参考

  1. Jenkins-Pipeline实践浅谈
  2. Jenkins官方文档
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345