一些基本概念
- 服务提供方provider
- 服务调用方consumer
以下1,2,3,4都是provider出现问题,consumer的应对对策
1.超时
WHY:如果provider要10s才响应,那么consumer也要等10s才响应,这种情况多的话consumer性能会降低。
HOW:对consumer设置时间阈值,超过consumer就不等待了
TO:保护服务,使consumer保持原来的性能。
2.重试
WHY:有时候provid只是偶尔抖动,如果这时候超时后直接放弃,就会导致请求错误,带来业务损失
HOW:在超时后重试一下,重试如果能够正常返回,这次请求就被挽救。
可以考虑切换一台机器专门用来重试,减轻原来机器的负担。
3.幂等
When:如果允许consumer重试,那provider就要做到幂等
WHAT:同一个请求被consumer多次调用,对provider产生的影响(写入等)是一致的
4.熔断
When:使用于一个不那么重要的服务,不想因为它的响应时间过长导致影响consumer的核心服务的响应时间过长
HOW:如果检查出来频繁超时,就把consumer调用provider的请求直接短路掉,不实际调用,而是直接返回一个值,等provider服务恢复稳定后再恢复调用。
以下5是consumer出现问题,provider的应对对策
5.限流
WHY:一个provider对多个consumer提供服务,其中一个consumer流量飙升,占据了provider的大部分机器时间,导致其他更重要的consumer不能正常服务。
HOW:provider需要根据consumer的重要程度以及平时的QPS值,设置流量上限,超过限制等待或者直接拒绝。
5.1资源隔离
provider对consumer的流行进行限制,防止被拖垮
consumer对调用provider的线程资源进行隔离,确保调用某个provider服务不会耗光整个consumer资源
5.2服务降级
5.3 provider端
provider发现某个consumer流量激增,考虑降级服务
如:1.直接对consumer返回固定数据; 2.需要实时写入数据库的,先写入缓存队列,再异步写入数据库
5.4 consumer端
consumer发现某个provider出现异常(如超时,数据异常),可以降级provider的逻辑,如直接返回固定值
RPC学习笔记
1.RPC: Remote Procedure Call 远程过程调用
2.一个RPC架构包含四个组件:
- 客户端Client:服务的调用者
- 客户端存根Client Stub:存放服务端地址信息,将客户端的请求参数打包成网络消息,通过网络发送给服务方
- 服务端Server:服务的发布者
- 服务端存根Server Stub:接受客户端发送过来的消息并解包,再调用本地方法
3.RPC框架需要考虑解决如下问题:
- 服务端提供的服务如何发布,客户端如何发现服务
- 如何对请求对象和返回结果进行序列化和反序列化
- 如何更高效进行网络通信
4.RPC的最重要任务
解耦服务,将客户端和服务端解耦,提高代码的可移植性。
5.服务端和客户端之间怎么调用?
通过网络协议传输,网络协议都是二进制的,因此内存中的参数值要序列化成二进制的形式,通过寻址和传输发送到另一方
6.RPC服务和HTTP服务的区别
// 有待学习
负载均衡笔记
不患寡而患不均
1.负载均衡:Load Balance(LB)
将一个服务分布到不同的服务器(节点)或网络设备上,让所有节点提供最低价格,最高服务。(既不要过载,也要最大程度发挥作用)
2.四层负载均衡
在传输层,主要工作是转发,通过报文中的目标地址和端口,再加上负载均衡设备设置的服务器选择方式,决定最终选择的内部服务器。
3.七层负载均衡
在应用层,主要工作是代理,通过报文中的真正有意义的应用层内容,再加上负载均衡设备设置的服务器选择方式,决定最终选择的内部服务器。
4.负载均衡算法
1、 随机算法 | 按权重设置随机概率,调用量越大分布越均匀 |
---|---|
2、轮询及加权轮询 | 适用于各服务器的处理能力相同时,且每笔业务处理量差异不大时。 |
3、最小连接及加权最小连接 | 在多个服务器中,与处理连接数最少的服务器进行通信。 |
4、哈希算法 | 根据客户端IP或请求key计算hash值并取模,优点是同一个请求能分布到同一个节点 |
5、IP地址散列 | 管理发送方IP和目的地IP地址的三列,将来自同一发送方的分组统一转发到相同服务器。 |
6、URL散列 | 通过管理客户端请求URL信息的散列,将发送至相同URL的请求转发至同一服务器的算法。 |