需求
使用Nginx做七层负载均衡，后端是Tomcat。每次项目升级，都要停机发布或者手动先从Nginx下摘掉一组，然后再升级这组，这些操作显然会增加部署时间，于是就想实现动态管理Nginx配置文件。
架构图
image.png
软件
- etcd：分布式KV存储系统，一般用于共享配置和服务注册与发现。是CoreOS公司发起的一个开源项目。 ETCD存储格式类似于文件系统，以根"/"开始下面一级级目录，最后一个是Key，一个key对应一个Value。
- confd：管理本地应用配置文件，使用etcd或consul存储的数据渲染模板，还支持redis、zookeeper等。confd有一个watch功能，通过HTTP API定期监测对应的etcd中目录变化，获取最新的Value，然后渲染模板，更新配置文件。
配置etcd
# 安装etcd
yum install etcd
# 启动
systemctl start etcd
# 设置key
etcdctl set /nginx/www/server_name backend
etcdctl set /nginx/www/upstream/server01 192.168.0.1
etcdctl set /nginx/www/upstream/server02 192.168.0.2
配置confd
# 下载confd并移到bin目录下
mv confd-0.11.0-linux-amd64 /usr/bin/confd
# 创建配置目录
# mkdir -p /etc/confd/{conf.d,templates}
conf.d # 配置文件，里面的文件必须以toml后缀
templates # 模板，里面的文件必须以tmpl后缀
# 创建配置文件模板
# vi /etc/confd/templates/app01.conf.tmpl
upstream {{getv "/nginx/www/server_name"}} {
{{range getvs "/nginx/www/upstream/*"}}
server {{.}};
{{end}}
}
server {
server_name localhost;
location / {
proxy_pass http://{{getv "/nginx/www/server_name"}};
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
# 创建confd配置文件
# vi /etc/confd/conf.d/app01.conf.toml
[template]
src = "app01.conf.tmpl" # 默认在/etc/confd/templates目录下
dest = "/usr/local/nginx/conf/vhost/app01.conf" # 渲染后的模板文件位置（要更新的配置文件）
keys = [
"/nginx", # 监测的key
]
reload_cmd ="/usr/local/nginx/sbin/nginx -s reload" # key更新后执行的命令
测试
etcdctl set /nginx/www/upstream/server03 192.168.0.3 # 添加后端服务器
etcdctl rm /nginx/www/upstream/server01 192.168.0.1 #删除
restapi操作etcd
curl -X PUT http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01 -d value="789" # 增改key
curl -X DELETE http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01 # 删除key
curl http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01 # 查询key的值
一台主机tomcat
[root@web12 ~]# etcdctl get /app01/vacc/11
["server 192.168.140.11:7080","server 192.168.140.11:7081"]
# {{- }} 不换行输出
{{- range getvs "/nginx/app01/*" }}
{{- range jsonArray . }}
{{if eq . "server 192.168.140.11:7080" }}#{{.}} weight=5 max_fails=3 fail_timeout=30s;{{else}}{{.}} weight=5 max_fails=3 fail_timeout=30s;{{end}}
{{- end}}
{{- end}}
