服务注册与发现

1、应用场景

微服务架构、分布式架构场景下的服务发现、组件实例的发现、健康检查等。完成自动化服务发现,在服务动态上下线过程中,无需人工介入配置。

通常是结合客户端负载工具(例如ribbon)配合使用。

2、技术选型

常见的注册中心有zookeeper 、eureka、consul、etcd。从生态发展、便利性、语言无关性等角度来综合考量,选择consul,多数据中心支持,支持k-v能力,可扩展为配置中心。github地址:https://github.com/hashicorp/consul

具体选型就不展开了,可参看consul官网安利 https://www.consul.io/intro/vs/eureka.html

3、架构原理

image
consul-arch.png

consul节点在启动时可以定义自身角色,client、server两种。
client节点只负责转发外部请求,是无状态的;
server节点的职责是使用raft协议保证数据一致性,响应客户端的请求,维护集群状态,与其他数据中心交互。
节点之间通过gossip广播协议(谣言协议),进行节点之间的数据交互,最终大家达到一致。

3.1 搭建集群

3节点或五个server节点组一个集群,为什么是单数,因为集群需要选举一个leader来保证数据一致性。票数要超过半数以上才能选举为leader。
程序只有一个文件consul,从官网下载解压即可使用,使用如下命令启动第一个:
consul agent -server -ui -bootstrap-expect 3 -data-dir /consul/data -config-dir /consul/config -client 0.0.0.0
-server 指明为server节点
bootstrap-expect:启动集群需要的最少server数量
config-dir:没什么用,我们都是通过命令行配置启动
client:暴露给客户端访问的地址,默认是127.0.0.1,客户端就访问不了了
data-dir:关键的来了,这个目录很关键,存放一些持久化信息。包括:
1、node-id集群中该节点的ID
2、checks子目录,存放每个注册服务的健康检查配置信息
3、raft子目录,存放raft一致性协议实现数据同步的信息
4、services:在该节点上注册的服务,非常重要,即我们用spring-cloud-consul-discovery客户端往consul集群注册的信息,会保存在这,具体注册到哪一台server上,就是随机了

其他两个用如下命令启动:
consul agent -server -ui -retry-join consul-server1 -data-dir /consul/data -config-dir /consul/config -client 0.0.0.0
多了个retry-join,加入其他已存在的节点

三个节点启动后,他们就会自选举一个为leader。
可以通过consul members命令查看集群状态

3.2 在云上构建consul集群

docker容器化部署参考:https://github.com/wuzuquan/docker-file/tree/master/consul

三节点组一个集群,详细配置参考dockerfile及docker-compose文件。

对外通过一个lb组件暴露接口(lb要具备故障转移能力)。

注意事项:docker与虚拟机的最大差异在网络与存储,需要将/consul/data目录挂载到外部存储,这样才能具备故障转移能力。data目录存储了服务信息、节点集群信息。

3.3 服务注册

#注册中心、服务发现
spring.cloud.consul.host=11.4.74.47
spring.cloud.consul.port=800
spring.cloud.consul.discovery.prefer-ip-address=true
spring.cloud.consul.discovery.healthCheckPath=/metrics/health

spring.cloud.consul.discovery.fail-fast=false
spring.cloud.consul.discovery.tags=service
spring.cloud.consul.discovery.instance-id= ${spring.application.name}:${spring.cloud.client.ipAddress}

服务注册接口:http://host:port/v1/agent/service/register

服务实体示例(一般采用spring-cloud-consul-discovery实现):

{id='order-service-172-18-245-161', name='order-service', tags=[service], address='172.18.245.161', port=8080, enableTagOverride=null, check=Check{script='null', interval='10s', ttl='null', http='http://172.18.245.161:8080/metrics/health', tcp='null', timeout='null', deregisterCriticalServiceAfter='null', tlsSkipVerify=null, status='null'}, checks=null}

注意事项:ID必须唯一,容器化多实例注册的时候最好根据ip自动生成id,保持唯一性

name:服务名

tags设置为service,用于性能监控工具prometheus过滤

check:健康检查策略

3.4 服务发现

http://11.4.74.48:800/v1/health/service/ticket-center
服务发现,简单的说,就是消费者去注册中心上查询注册了哪些服务,服务有多少个实例,哪些是健康的,哪些是不可用的。

服务发现通常结合客户端负载工具ribbon一起使用。
在springboot应用中引入spring-cloud-consul-discovery组件即可,配置参考如下:

# 开启重试
spring.cloud.loadbalancer.retry.enabled=true
# 请求连接的超时时间
ribbon.ConnectTimeout=1000
# 请求处理的超时时间
ribbon.ReadTimeout=10000
# 对所有操作请求都进行重试
ribbon.OkToRetryOnAllOperations=true
#最多重试多少台服务器
ribbon.MaxAutoRetriesNextServer=3
#每台服务器最多重试次数,但是首次调用不包括在内
ribbon.MaxAutoRetries=1
ribbon.httpclient.enabled=false
ribbon.okhttp.enabled=true
ribbon.client.name=dslf

ribbon.NFLoadBalancerRuleClassName=com.netflix.loadbalancer.WeightedResponseTimeRule

注意事项:容错机制非常重要,是服务交互高可靠的保障。
具体代码模板安利一下:
https://github.com/wuzuquan/microservice

3.4 神坑

consul-discovery这个组件实现的服务过滤器有个bug。
当某台consul-server不可用时,在该节点上注册的所有实例皆会被认为不可用。
修复bug详见自定义过滤器:CustomConsulServerFilter

4 开发应用

4.1 通过resttemplate+ribbon实现服务调用

首先往容器内注入定制化的resttemplate

  @Primary
    @LoadBalanced
    @Bean
    public RestTemplate restTemplateLB() {

        RestTemplate restTemplate= new RestTemplate(OkHttp3Factory());
       // RestTemplate restTemplate= new RestTemplate(nettyFactory());

        List<HttpMessageConverter<?>> messageConverters = new ArrayList<>();
        messageConverters.add(new FormHttpMessageConverter());
        messageConverters.add(new StringHttpMessageConverter());

        MappingJackson2XmlHttpMessageConverter xmlConverter=new MappingJackson2XmlHttpMessageConverter();
        xmlConverter.setDefaultCharset(Charset.forName("utf-8"));
        List<MediaType> list = new ArrayList<MediaType>();
        list.add(MediaType.APPLICATION_XML);
        xmlConverter.setSupportedMediaTypes(list);

        messageConverters.add(0,xmlConverter);
        messageConverters.add(0,new ProtostuffHttpMessageConverter());
        messageConverters.add(0,jsonConverter);
        restTemplate.setMessageConverters(messageConverters);
        // 把自定义的ClientHttpRequestInterceptor添加到RestTemplate,可添加多个
        restTemplate.setInterceptors(Collections.singletonList(new ProtobufHeaderInterceptor()));

        return  restTemplate;
    }

在使用的地方

@Autowired
    private RestTemplate restTemplate;

    @RequestMapping(value = "/zipkintest")
    public  String testRibbon(){

        return restTemplate.getForObject("http://booking-service/v1/tbempdata/get?id=06645",String.class);
    }

5 可用性方面的考量

5.1 消费者与注册中心是什么关系?

服务消费者从注册中心定时同步(5s 10s 15s 策略可以自己配置)服务元数据到本地缓存,之后通过ribbon客户端负载工具直接调其中一个实例,跟注册中心是弱关联关系,即使在运行过程中,consul集群完全不可用,也能继续使用缓存数据。

5.2 当在服务调用的某个瞬间,某个实例不可用咋办,又没有同步更新到最新的服务元数据,此时服务调用会失败吗?

该ribbon工具登场了,ribbon可以配置重试容错机制,每个实例几次,都失败时,重试其他IP。这样就保证了高可用性。

5.3 服务增删实例要怎么操作

不需要操作,不需要人工介入。自动注册,自动健康检查、自动同步。
人是最没用的 😀

5.4 server可用性

挂一台、挂二台、全挂,会造成什么影响
因为微服务是注册到哪个server节点上,就由哪个server节点做健康检查。

5.5 性能如何

官方文档讲的不是很清楚,可以支持几千个node,这里的node是指consul节点。
一个数据中心几千几万个服务应该没什么压力。具体找机会压测

5.6 如何实时获取服务的健康状态

不可能,也不需要

5.7 微服务如何优雅的配置consul地址

假设server节点有3个,若干个client,client是无状态的,负责转发请求,有点类似负载均衡的作用。

spring-cloud客户端只能指定一个地址,有N种方式接入:
1、直接任意指定其中一个server ip
2、在3个server前端架设一个haproxy负载均衡,配置负载均衡的ip地址
3、指定任意一个client的ip
4、指定DNS,例如测试环境中的
consul-server2.2consul-cluster,会解析到服务名对应的server实例

都不优雅,dns会相对好些,但目前rancher的dns性能不是很稳定,压测数据太low。

关键的一点是,保持稳定的ip地址,利用云环境的故障转移,怎么接都是ok的。
测试环境可以用host网络模式,怎么玩都可以,方便测试。
生产环境一定别这么搞,直接用虚拟IP即可,并且要保持IP不变。

5.7.1 consul-template

官方的一个扩展工具,可以配置监听server节点的数据状态,动态更新生成想要的配置文件,例如nginx的upstream,有些mysql集群方案也采用了consul。后续有空再研究吧

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容