分布式系统
分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间通过消息传递进行通信和协调的系统
特点
- 分布性
- 对等性
- 并发性
- 缺乏全局时钟
- 故障总会发生
问题
- 通信异常
- 网络分区(脑裂)
- 三态
- 节点故障
分布式系统--CAP定理
- 一致性 (Consistency)
- 可用性(Availability)
- 分区容错性( Partition tolerance)
这三个不能同时保证
一致性和可用性平衡方案
最终一致性
ZOOKEEPER
简介
开源的针对大型分布式系统的可靠协调系统
设计目标:将负责切容易出错的分布式一致性服务分装起来,构成一个搞笑的原语集,并已简单易用的接口提供给用户使用.
提供功能: 发布/订阅 分布式协调/通知,配置管理,集群管理,主从协调,分布式锁
特性
- 最终一致性
保证最终数据能搞达到一致. - 顺序性
从同一个客户端发起的事务请求,最终会严格的按照其发送的顺序被应用到Zookeeper中 - 可靠性
一旦服务器成功的应用一个事务,并完成了客户端的响应,name该事务所引起的服务端状态变更会一致保留下去 - 实时性
zookeeper不能保证两个客户端同时得到刚刚更新的数据,可在读数据之前调用sync()接口 - 原子性
一次数据更新,要么成功,要么失败 - 单一视图
无论客户端连接到哪个服务器,看到的数据模型都是一致的
ZOOKEEPER架构
image.png
zookeeper角色
- Leader(领导者)
更新系统状态,处理事务请求,负责进行投票的发起和决议 - Follower(更随者)
处理客户端非事务请求,并向客户端返回结果,将事务请求转发给Leader,同步Leader状态,选主过程中参与投票 - Observer
接收客户端请求,将客户端写请求转发给Leader,不参与投票过程,只同步Leader状态,目的是为了扩展系统,提高读取速度 - Client
请求发起方
Observer
3.3.0 以后 版本新增角色Observer
增加原因：
- Zookeeper需保证高可用和强一致性；
当集群节点数目逐渐增大为了支持更多的客户端，需要增加更多Server，然而Server增多，投票阶段延迟增大，影响性能。为了权衡伸缩性和高吞吐率，引入
Observer：
Observer不参与投票.
Observers接受客户端的连接，并将写请求转发给leader节点.
加入更多Observer节点，提高伸缩性，同时不影响吞吐率.
zookeeper 写入
- 数据写入最终一致性核心算法ZAB算法.
- Leader 负责处理写事务
-
Follower负责向Leader 转发写请求,响应Leader发出的提议
- CLient向Follower提交写事务请求
- Follower接收到写请求,然后把写请求转发给Leader
- Leader收到写请求后,生成全局事务Id(ZXID),将事务Id与事务请求绑定在一起,组成一个消息体,然后放入队列,发送给Follower
- Follower 接收到写请求后,先以日志的形式写在本地,然后返回一个确认消息给Leader
- 当超过半数的Follower接收成功后,Leader发起一个提交事务通知,通知Follower提交事务.
zookeeper选举
服务器的4中状态:
- LOOKING : 寻找Leader状态,处于该状态需要进入选举流程
- LEADING : 领导者状态,表明当前角色为Leader
- FOLLOWING: 跟随者,Leader已经选举出来,表明当前服务角色为Follower
- OBSERVER: 观察者状态, 表明当前服务角色为Observer
事务ID:
ZXID表示,64位数字,由Leader统一分配,全局唯一,不断递增
全新启动期间选举
- 每个Server发出一个投票,内容为(myid,ZXID)
- 接收来自各个Server的投票
- 处理投票
- 统计投票
-
改变服务器状态
运行期间选举
- 所有Server切换为LOOKING,每个Server发出一个投票,内容为(myid,ZXID)
- 接收来自各个Server的投票
- 处理投票
- 统计投票
-
改变服务器状态
zookeepers数据模型ZNode
- zookeeper特有的数据节点znode,视图结构类似Linux的文件系统,没有目录和文件的概念
- Znode是zookeeper中数据最小单元
- znode上可以保存数据,通过挂载子节点构成一个树状的层次化空间
-
znode从 '/'开始
节点类型
节点类型:
- 持久节点
- 临时节点
- 顺序节点
组合节点类型
- 持久节点
- 持久顺序节点
- 临时节点
- 临时顺序节点
版本
版本类型
- dataVersion : 当前数据节点内容的版本号
- CVersion: 当前数据节点子节点的版本号
- aVersion: 当前数据节点ACL权限变更版本号
保证分布式数据原子性
- 悲观锁
- 乐观锁
Znode-状态
Znode-Watcher机制
http://blog.csdn.net/yinwenjie/article/details/47685077
应用场景
统一命名服务:
- 分布式环境中统一命名
- 按照层次结构组织服务/应用名称
-
全局唯一ID
配置管理:
集群管理:
分布式锁:
分布式队列:
