consul入门篇

consul简介

consul是google开源的一个使用go语言开发的服务发现、配置管理中心服务。内置了服务注册与发现框架（类似zookeeper）、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server和client。每个节点为以下三种状态的一种：

CLIENT表示consul的client模式，就是客户端模式。是consul节点的一种模式，这种模式下，所有注册到当前节点的服务会被转发到SERVER，本身是不持久化这些信息。
SERVER表示consul的server模式，表明这个consul是个server，这种模式下，功能和CLIENT都一样，唯一不同的是，它会把所有的信息持久化的本地，这样遇到故障，信息是可以被保留的。
如果SERVER下面有LEADER的字眼，表明这个SERVER是它们的老大，它和其它SERVER不一样的一点是，它需要负责同步注册的信息给其它的SERVER，同时也要负责各个节点的健康监测。

consul的部署

上图来源于 Consul 官网，很好的解释了 Consul 的工作原理。consul是一个服务管理软件，主要功能如下：

支持多数据中心下，分布式高可用的，服务发现和配置共享。
consul支持健康检查，允许存储键值对。
一致性协议采用Raft算法,用来保证服务的高可用。
成员管理和消息广播采用GOSSIP协议，支持ACL访问控制。

有些人可能对服务注册和发现还没有概念，有些人可能使用过其他服务发现的工具，比如 ZooKeeper，etcd，会有一些先入为主的经验。本文谈一下 Consul 做服务发现的实践和原理。

Consul 服务发现原理

下面这张图描述了服务发现的完整流程，先大致看一下：

image.png

首先需要有一个正常的 Consul 集群，有 Server，有 Leader。这里在服务器 Server1、Server2、Server3 上分别部署了 Consul Server。

假设他们选举了 Server2 上的 Consul Server 节点为 Leader。这些服务器上最好只部署 Consul 程序，以尽量维护 Consul Server 的稳定。

然后在服务器 Server4 和 Server5 上通过 Consul Client 分别注册 Service A、B、C，这里每个 Service 分别部署在了两个服务器上，这样可以避免 Service 的单点问题。

服务注册到 Consul 可以通过 HTTP API（8500 端口）的方式，也可以通过 Consul 配置文件的方式。

Consul Client 可以认为是无状态的，它将注册信息通过 RPC 转发到 Consul Server，服务信息保存在 Server 的各个节点中，并且通过 Raft 实现了强一致性。

最后在服务器 Server6 中 Program D 需要访问 Service B，这时候 Program D 首先访问本机 Consul Client 提供的 HTTP API，本机 Client 会将请求转发到 Consul Server。

Consul Server 查询到 Service B 当前的信息返回，最终 Program D 拿到了 Service B 的所有部署的 IP 和端口，然后就可以选择 Service B 的其中一个部署并向其发起请求了。

如果服务发现采用的是 DNS 方式，则 Program D 中直接使用 Service B 的服务发现域名，域名解析请求首先到达本机 DNS 代理，然后转发到本机 Consul Client，本机 Client 会将请求转发到 Consul Server。

Consul Server 查询到 Service B 当前的信息返回，最终 Program D 拿到了 Service B 的某个部署的 IP 和端口。

图中描述的部署架构笔者认为是最普适最简单的方案，从某些默认配置或设计上看也是官方希望使用者采用的方案，比如 8500 端口默认监听 127.0.0.1，当然有些同学不赞同，后边会提到其他方案。

consul 启动方式

集群启动

consul必须启动agent才能使用，有两种启动模式server和client，还有一个官方自带的web ui。server用与持久化服务信息，集群官方建议3或5个节点。client只用与于server交互。ui可以查看集群情况的。

server模式启动如下：

节点 1：
~:consul agent  -bootstrap-expect 2  -server   -data-dir /data/consul0 -node=cn1 -bind=192.168.1.202 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1
节点 2:
~:consul agent    -server  -data-dir /data/consul0 -node=cn2 -bind=192.168.1.201 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -join 192.168.1.202
节点3:
~:consul agent  -server  -data-dir /data/consul0 -node=cn3 -bind=192.168.1.200 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -join 192.168.1.202

参数解释：

- bootstrap-expect:集群期望的节点数，只有节点数量达到这个值才会选举leader。
- server： 运行在server模式
- data-dir：指定数据目录，其他的节点对于这个目录必须有读的权限
- node：指定节点的名称
- bind：为该节点绑定一个地址
- config-dir：指定配置文件，定义服务的，默认所有一.json结尾的文件都会读
- enable-script-checks=true：设置检查服务为可用
- datacenter: 数据中心没名称，
- join：加入到已有的集群中

client启动如下：

~:consul agent   -data-dir /data/consul0 -node=cn4 -bind=192.168.1.199 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -join 192.168.1.202

client节点可以有多个，自己根据服务指定即可。

ui启动如下:

~:consul agent  -ui  -data-dir /data/consul0 -node=cn4 -bind=192.168.1.198  -client 192.168.1.198   -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -join 192.168.1.202

参数解释：

- ui:使用自带的ui
- ui-dir：指定ui的目录，使用自己定义的ui
- client：指定web  ui、的监听地址，默认127.0.0.1只能本机访问。

集群创建完成后：
使用一些常用的命令检查集群的状态：

~:consul  info

可以在raft：stat看到此节点的状态是Fllower或者leader

~:consul members

新加入一个节点有几种方式；

1、这种方式，重启后不会自动加入集群
~:consul  join  192.168.1.202
2、#在启动的时候使用-join指定一个集群
~:consul agent  -ui  -data-dir /data/consul0 -node=cn4 -bind=192.168.1.198 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -join 192.168.1.202
3、使用-startjoin或-rejoin
~:consul agent  -ui  -data-dir /data/consul0 -node=cn4 -bind=192.168.1.198 -config-dir /etc/consul.d -enable-script-checks=true  -datacenter=dc1  -rejoin

访问ui：
http://192.168.1.198:8500/ui

端口：
8300：consul agent服务relplaction、rpc（client-server）
8301：lan gossip
8302：wan gossip
8500：http api端口
8600：DNS服务端口

单机启动

输入 consul agent -dev
在浏览器中输入 www.localhost:8500 就可以启动web查看

服务注册与发现

服务注册

consul注册服务，有三种方式，

方式一：通过配置文件的方式静态注册
创建文件夹/etc/consul.d
.d代表有许多配置文件在里面
vim /etc/consul.d/jetty.json 内容如下：

{
  "service":{
    "id": "jetty",
    "name": "jetty",
    "address": "192.168.1.200",
    "port": 8080,
    "tags": ["dev"],
    "checks": [
        {
            "http": "http://192.168.1.200:8080/health",
            "interval": "5s"
        }
    ]
  }
}

重启consul，并将配置文件的路径给consul（指定参数：-config-dir /etc/consul.d）

方式二：通过HTTP API接口来动态注册
直接调用/v1/agent/service/register接口注册即可，需要注意的是：http method为PUT提交方式。如：

curl -X PUT -d '{"id": "jetty","name": "jetty","address": "192.168.1.200","port": 8080,"tags": ["dev"],"checks": [{"http": "http://192.168.1.104:9020/health","interval": "5s"}]}' http://192.168.1.100:8500/v1/agent/service/register

注意，这种方式，和上面的注册方式有一点不一样，body的参数，是上面service的值，这点需要注意

方式三：使用程序实现服务的注册和发现（Java）
首先加入consul client的依赖

服务发现
consul支持两种方式实现服务发现，一种是通过http API来查询有哪些服务，另外一种是通过consul agent 自带的DNS（8600端口），域名是以NAME.service.consul的形式给出，NAME即在定义的服务配置文件中，服务的名称。DNS方式可以通过check的方式检查服务。
服务间的通信协议
Consul使用gossip协议管理成员关系、广播消息到整个集群，他有两个gossip pool（LAN pool和WAN pool），LAN pool是同一个数据中心内部通信的，WAN pool是多个数据中心通信的，LAN pool有多个，WAN pool只有一个。

参考

https://www.toutiao.com/a6639493728086000142/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1546144777&app=news_article&utm_source=weixin&iid=55667270026&utm_medium=toutiao_android&group_id=6639493728086000142