如何基于GitLab优雅的管理项目配置数据

配置

软件开发过程中,配置文件是不可少的,我们一般会用来配置一些数据库信息、接口域名、其它服务接口域名、key信息,以服务端为例子,我们配置文件格式是ini的,以前我们是这样配置的

A项目【数据库配置,依赖服务(A服务)配置】

[PROD]
dbHost = "prod.example.com:3306"
dbName = "prod_example"
dbUser = "prod"
dbPwd = "prodpwd"
serverA_Domain = "prod.a.example.com"
[TEST]
dbHost = "test.example.com:3306"
dbName = "test_example"
dbUser = "test"
dbPwd = "testpwd"
serverA_Domain = "test.a.example.com"

B项目【依赖服务(A服务)配置】

[PROD]
service_a_domain = "prod.a.example.com"
[TEST]
service_a_domain = "test.a.example.com"

用一个section来区分环境,一般情况我们有测试环境,正式环境,某些情况下,有可能有客户需要我们整套方案独立部署,就会有客户定制环境,这个后面说。

conf.ini这个文件以前我们是由各开发人员自己来维护的,跟代码一起提交,这种开发模式也存在过比较长一段时间,但是期间出现过很多问题,如下:

  1. 开发人员写配置写错了,prod.example.com:3306定成prod.examples.com:3306
  2. 配置冗余,A服务是个基础服务,上面A,B两个项目都依赖了,所以每个项目都写了一个配置
  3. 配置和项目的依赖关系,规范点的话,大家可能会用一个文档记下来,A服务依赖的项目有A,B项目,不规范的话,可能就是全凭记忆记了,说实话我已经不太相信自己的记性了,这玩意如果过了半年,大家还能记住,我只能说牛逼,但是如果这个开发人员离职了呢,交接的时候忘记交接了,那么这个时候就已经埋下一个坑了,现在我们服务要迁移,域名规范下,相关服务修改下,服务用service.example.com域名,A服务改成a.service.example.com,这个时候基本会出问题
  4. 配置更新后,要push一下代码,重新部署项目
  5. 这个主要针对前端,如果把配置信息写到项目中,那么按F12的时候,大家可以找到其它环境的域名配置信息,这里我其实是不太愿意让别人知道的(我们的测试环境也在外网部署了)

方案

能不能把配置从项目中独立出来,做成一个服务,项目中只保存配置的描述信息,具体配置的值由各开发人员在配置服务中维护,相关项目需要的话,直接引用,并自动记录配置和项目的依赖关系呢?配置更新后自动部署依赖项目,上面的例子变成这样

A项目【数据库配置,依赖服务(A服务)配置】

projecta:
  - dbHost
  - dbName
  - dbUser
  - dbPwd
serviceA:
  - domain

B项目【依赖服务(A服务)配置】

serviceA:
  - domain

是不是简洁很多了?

:这只是个描述文件,怎么获取配置具体的值啊?建立引用关系啊?
那我们在当前描述基础上,加个project来描述当前项目信息,branch来描述需要获取哪个分支(也就是环境,一般test分支对应测试环境,mastertag对应正式环境)的配置的值,再加个些描述format表示要输出的文件格式和itemFormat处理配置名的方式(比如:A项目有domainB项目也有domain,如果直接用配置名做key的话,肯定会有问题)

A项目【数据库配置,依赖服务(A服务)配置】

format: ini
itemFormat: 用逗号拼接
project:
  name: ${CI_PROJECT_NAME}
  description: ${CI_PROJECT_TITLE}
  id: ${CI_PROJECT_ID}
branch: ${CI_COMMIT_REF_NAME}
configs:
    projecta:
      - dbHost
      - dbName
      - dbUser
      - dbPwd
    serviceA:
      - domain

B项目【依赖服务(A服务)配置】

format: ini
itemFormat: 用逗号拼接
project:
  name: ${CI_PROJECT_NAME}
  description: ${CI_PROJECT_TITLE}
  id: ${CI_PROJECT_ID}
branch: ${CI_COMMIT_REF_NAME}
configs:
    serviceA:
      - domain

这样就差不多了,然后我们再写一个接口根据这些描述信息输出配置具体的值,假设配置服务叫$GITLAB_CONFIG_SERVER,我们把这步操作放到CI/CD的时候来做,把服务输出重定向到项目配置文件中,然后再部署或者制作成docker镜像。

curl "$GITLAB_CONFIG_SERVER" --fd "`cat .config.yml`" > conf/app.conf

$GITLAB_CONFIG_SERVER要做的功能有两个

  1. 根据配置描述信息返回对应的值
  2. 记录配置和项目的依赖关系

配置使用

.config.sh文件

#!/bin/bash
config="
format: ini
project:
  name: ${CI_PROJECT_NAME}
  description: ${CI_PROJECT_TITLE}
  id: ${CI_PROJECT_ID}
itemFormat: project_without_dot
configs:
  projecta:
      - dbHost
      - dbName
      - dbUser
      - dbPwd
  serviceA:
      - domain
branch: ${CI_COMMIT_REF_NAME}
"
curl "${GITLAB_CONFIG_SERVER}" -fd "$config"

注意:为什么这里我用.config.sh,而不用.config.yml呢?以前在使用.config.yml使用过程中,大家一般会复制其它项目的文件,然后直接改configs下面的信息,而忘记改project信息了,导致依赖关系错乱,所以后面改成用shell的时候来设置配置描述信息,这样大家只需要改configs下面的信息了,其它信息可以从gitlab的环境变量里面读到

.gitlab-ci.yml

image: docker:git
stages:
  - build
  - deploy

build_test:
  stage: build
  image: golang:1.13
  script:
    - chmod a+x .config.sh
    - ./.config.sh > conf/dev/app.conf  #生成配置
    - go build -o $CI_PROJECT_NAME main.go
  artifacts:
    expire_in: 2 days
    paths:
      - $CI_PROJECT_NAME
      - conf
  only:
    - test

deploy_test:
  stage: deploy
  image: sebble/deploy
  script:
    - 部署代码
  only:
    - test

配置服务后台

配置管理

配置服务后台

蓝色区域显示依赖该配置的项目

绿色区域显示配置在不同分支(环境)对应的值

暂存有时候一次可能要编辑好几个配置,如果每编辑一次都自动部署就太频繁了,所以做了个暂存,所有配置编辑好后再点红色区域的保存,如果点了自动部署依赖,就会创建依赖项目的pipeline达到自动部署的目的

自动部署

项目一开始是没有配置的,选中项目后,点添加配置,按格式说明输入。

配置的编辑,删除功能只有该gitlab项目MaintainerAccess级别以上的用户有,其它用户只可以查看,如果需要某个项目的配置,点导出配置,再粘帖到你的.config.sh文件中,把不要的配置删除了,千万别手写,怕写错。

日志管理

做了个简单的日志管理,编辑删除会记录日志

日志管理

配置服务项目链接,欢迎star:

服务端

前端

全文完

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容