1 概述:

1.开源的，分布式的，为分布式服务提供协调服务的Apache 项目。
2.基于观察者模式设计的分布式服务管理框架， 负责存储和管理数据，接受观察者的注册， 一旦数据状态变化， 将通知已经注册的观察者做出反应

2 特点

1. Zookeeper 由一个领导者(leader， 有且只有一个)， 多个跟随者（follower）组成的集群
2. 集群中只有半数以上的节点存活，Zookeeper集群才能正常服务，所以zookeeper 适合安装奇数台服务器
3. 全局数据一致性：每个存活的节点保存一份相同的数据副本， client无论链接到哪个节点，数据都是一致的
4. 更新请求顺序执行， 来自同一个client的更新请求按其发送的顺序依次执行
5. 数据更新原子性，一次数据更新要么成功，要么失败
6. 实时性： 在一定时间范围内，client能读取到最新的数据

3 节点

zookeeper的数据模型和结构与unix文件系统类似， 整体可以看作是一棵树，每个节点称作为ZNode, 每个ZNode 默认能存储1MB的数据， 每个ZNode都可以通过其路径唯一标识

数据结构

3.1 节点类型：

节点可分为持久节点，临时节点，持久顺序节点，临时顺序节点

• 持久节点(PERSISTENT)：
  客户端和服务器断开链接后，创建的节点不会被删除
• 持久顺序节点(PERSISTENT_SEQUENTIAL)：
  客户端和服务器断开链接后，创建的节点不会被删除， 而且对该节点进行顺序编号
• 临时节点(EPHEMERAL)：
  客户端和服务器断开链接后，创建的节点会被删除
• 临时顺序节点(EPHEMERAL_SEQUENTIAL)：
  对该节点进行顺序编号，客户端和服务器断开链接后，创建的节点会被删除

3.2 节点信息

例：创建一个值为test持久节点 /abcd

[zk: localhost:2181(CONNECTED) 28] create /abcd "test"
Created /abcd

查看/abcd 节点信息

[zk: localhost:2181(CONNECTED) 29] get -s /abcd
test.     
cZxid = 0x10000000b
ctime = Thu Feb 10 20:12:28 CST 2022
mZxid = 0x10000000b
mtime = Thu Feb 10 20:12:28 CST 2022
pZxid = 0x10000000b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

3.3 节点监听(watch)

使用watcher机制实现了数据的发布订阅功能功能，当订阅的对象发生变化时会异步通知客户端

1. watch 特性

2. watchEvent
   当数据有变化时，服务端会返回对应的watchEvent对象给客户端， 该对象中包括了通知的状态(keepState)和事件的类型(eventType)
   -. 通知状态(keepState)：
   客户端和服务端连接状态发生变化时的对应通知类型

-. 事件类型(eventType)
节点(znode）发生变化时对应的通知类型，EventType变化时keepState都会处于SyncConnected的通知状态下；当keepState发生变化时，EventType永远为None

注：客户端接收到的相关事件通知中只包含状态及类型等信息，不包括数据节点变化前后的具体内容，变化后的数据需要调用get等方法重新获取

3. 捕获相应的事件
   在zookeeper 中采用zk.getChildren(path,watch), zk.exists(path,watch), zk.getData(path,watch)方式为某个节点注册监听

3.4 节点权限(ACL)

ACL:Access Control List 访问控制列表
使用 scheme:id:perm 来标识，主要涵盖 3 个方面：
　　权限模式（Scheme）：授权的策略
　　授权对象（ID）:授权的对象
　　权限（Permission）:授予的权限

其特性如下：
　　-.ZooKeeper的权限控制是基于每个znode节点的，需要对每个节点设置权限
　　-.每个znode支持设置多种权限控制方案和多个权限
　　-.子节点不会继承父节点的权限，客户端无权访问某节点，但可能可以访问它的子节点

3.4.1 权限模式

scheme 采用何种方式授权

1. world：默认方式，相当于全部都能访问
2. auth：代表已经认证通过的用户(cli中可以通过addauth digest
   user:pwd 来添加当前上下文中的授权用户)
3. digest：即用户名:密码这种方式认证，这也是业务系统中最常用的。 用 username:password 字符串来产生一个MD5串，然后该串被用来作为ACL ID。认证是通过明文发送username:password 来进行的，当用在ACL时，表达式为username:base64 ，base64是password的SHA1摘要的编码。
4. ip：使用客户端的主机IP作为ACL ID 。这个ACL表达式的格式为addr/bits ，此时addr中的有效位与客户端addr中的有效位进行比对。
5. super: 在这种scheme情况下，对应的id拥有超级权限，可以做任何事情(cdrwa)

3.4.2 授权对象

3.4.3 授予的权限

CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda

注意:这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限

更详细的如下:

4 选举机制

首先了解如下几个概念：

1. SID: 服务器id，用来表示集群中该机器，每台机器不能重复，与myid一致
2. ZXID:事物id ,用来标识一次服务器状态的变更，在某一时刻，集群中的每一台服务器的ZXID不一定相同
3. Epoch:每个leader任期的代号，没有leader时，同一轮投票选举逻辑时钟是一致的，每投完一轮，这个数据就会增加

4.1 初次启动选举机制

假设有5台服务器组成的的zookeeper集群，server ID为1～5，同时他们是最新启动的，且没有历史数据，在存放数据量上面是一样的

WX20220210-154003@2x.png

此时依次按顺序启动服务，
1.服务器1 启动，此时没有leader节点，服务器1 发起选举投票，并投给自己，此时投票不超过半数（3票），选举失败，此时服务1处于looking状态，

2. 服务器2 启动，此时再次发起leader选举，服务器1和2 分别投票给自己，并互相交换选举结果，此时服务器1 发现自己的myid小于服务器2的，并且都没有历史数据，服务器1就会更改投票给服务器2，此时服务器2 有2 票，服务器1 有0票，都没有超过半数投票，选举失败，服务器1 和2 都处于looking状态
3. 服务器3 启动，如果服务器2 启动时一样，再次选举，由于服务器3的myid最大，最终服务器3 有3 票，满足超过半数投票，服务器3 就选举为leader节点，服务器1，2为follower几点，集群启动成功
4. 服务器4 启动，leader节点已经存在，此时服务器4 成为follwer节点
5. 服务器5 启动，和服务器4一样，也成为follower节点

4.2 非第一次启动选举

image.png

当集群中的一台服务器出现以下情况时，此时会进入选举机制

1. 服务器初始化启动
2. 服务器运行期间和leader节点丢失通信

当一台机器开始选举时，会出现如下几种情形之一：
1.集群中已经有leader了，此时该机器发起选举时，会被告知leader节点信息，此时该机器只要和leader节点建立连接并完成同步就行

2. 集群中leader节点挂了，
   假设 5台服务器的sid为1,2,3,4,5, ZXID为8，8，8，7，7。
   此时服务器3(leader)和服务器5(follower)挂了，此时剩下的1，2，4 服务器重新开始选举.

选举规则： Epoch大的直接胜出， Epoch相同，ZXID大的胜出，Epoch和ZXID都相同的，服务器id大的胜出

由于1，2，4的Epoch 相同， 但是2的ZXID,serverID 相对于最大，此时服务器2 就被选举为新的leader

5 安装（Ver 3.5.7）

5.1 配置参数解读：

5.2. 单机节点

1. 解压安装包

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz

2. 修改配置文件
   将 解压后文件夹下的conf 路径下的zoo_sample.cfg 改为zoo.cfg,
   设置配置文件中参数 dataDir
   配置文件：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/root/zookeeper/apache-zookeeper-3.5.7-bin/data
# the port at which the clients will connect
clientPort=2181 
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60

3. 启动
   在解压文件的bin目录中

[root@iZuf6g3hri8hvnuqng6id7Z bin]  ./zkServer.sh --config ../conf start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ../conf/zoo.cfg
Starting zookeeper ... 、STARTED

4. 停止

[root@iZuf6g3hri8hvnuqng6id7Z bin]  ./zkServer.sh stop
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper/apache-zookeeper-3.5.7-bin/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

5. 查看状态

[root@iZuf6g3hri8hvnuqng6id7Z bin]# ./zkServer.sh  status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /root/zookeeper/apache-zookeeper-3.5.7-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: standalone

5.3. 集群

示例： 在三个服务器上部署三个zookeeper节点，组成集群

1. 解压安装：
   和单机节点安装一样，在三台服务器上分别解压设置dataDir目录
2. 配置服务器编号
   在参数dataDir 目录下创建myid文件, 此文件说明当前zookeeper在集群中的唯一编号，在文件中填写对应server的编号（例如1，2，3）
3. 配置集群文件
   在每个节点的配置文件中添加集群的信息

# server.A=B:C:D
#A: serverId 与myid文件的编号对应
#B：服务器地址
#C：follower 与leader 通信的端口
#D：leader节点挂了之后，重新选举时的端口号
server.1=139.196.58.234:2888:3888
server.2=139.196.58.235:2888:3888
server.3=139.196.58.236:2888:3888

4. 分别启动zookeeper 节点

6 客户端操作

6.1 常用节点操作

6.2 权限操作

1. 获取节点权限
   客户端操作指令：getAcl path

#创建一个/abcd节点， 观察节点的权限，此时默认是world:anyone:cdrwa 的权限
[zk: localhost:2181(CONNECTED) 4] create /abcd "test"
Created /abcd
[zk: localhost:2181(CONNECTED) 5] getAcl  /abcd
'world,'anyone
: cdrwa

2. 设置节点权限
   指令 setAcl path acl

#world 权限设置 setAcl path world:anyone:<perm>
#设置/abcd 节点没有创建子节点的权限，此时就不能创建子节点了
[zk: localhost:2181(CONNECTED) 6] setAcl /abcd world:anyone:drwa
[zk: localhost:2181(CONNECTED) 8] getAcl  /abcd
'world,'anyone
: drwa
[zk: localhost:2181(CONNECTED) 7] create /abcd/a "a"
Authentication is not valid : /abcd/a

#ip 权限设置 setAcl path ip:<ip>:<perm>
[zk: localhost:2181(CONNECTED) 9] setAcl /abcd ip:127.0.0.1:cdrwa
[zk: localhost:2181(CONNECTED) 10] getAcl  /abcd
'ip,'127.0.0.1
: cdrwa
# 此时/abcd 节点的cdrwa 权限只能是ip为127.0.0.1的客户端才拥有
# 可同时支持设置多个ip地址的权限, 以逗号分隔
[zk: localhost:2181(CONNECTED) 11] setAcl /abcd ip:127.0.0.1:cdrwa,ip:192.162.12.11:cdrwa
[zk: localhost:2181(CONNECTED) 12] getAcl  /abcd
'ip,'127.0.0.1
: cdrwa
'ip,'192.162.12.11
: cdrwa

3. 添加认证用户
   指令 addauth digest <auth>

#添加 用户名为gagaya 密码为123456的认证用户
[zk: localhost:2181(CONNECTED) 0] addauth digest gagaya:123456
# auth授权模式， 需要现通过addauth 添加认证用户(登陆)
[zk: localhost:2181(CONNECTED) 1] setAcl /abcd auth:gagaya:cdrwa 
[zk: localhost:2181(CONNECTED) 2] getAcl /abcd
'digest,'gagaya:MiCKcSLnJ5sLUpkr1wj81iMhnKQ=
: cdrwa

#digest 授权模式，
#setAcl  path digest username:password(加密处理):<perm>,
# 在Linux中可用以下指令获取加密密码 
#echo -n <username>:<password> | openssl dgst -binary -sha1 |openssl base64 
[root@iZuf6g3hri8hvnuqng6id7Z ~]# echo -n gagaya:123456 | openssl dgst -binary -sha1 |openssl base64
MiCKcSLnJ5sLUpkr1wj81iMhnKQ=

# 使用digest授权模式相比于auth 模式需要提供用户密码的加密密钥
[zk: localhost:2181(CONNECTED) 7] setAcl /abcd digest:gagaya:MiCKcSLnJ5sLUpkr1wj81iMhnKQ=:cdrwa 
[zk: localhost:2181(CONNECTED) 8] getAcl /abcd
'digest,'gagaya:MiCKcSLnJ5sLUpkr1wj81iMhnKQ=
: cdrwa

4. 多种授权模式
   同一个节点可以设置多种授权的模式

# 用逗号分隔
[zk: localhost:2181(CONNECTED) 11] setAcl /abcd digest:gagaya:MiCKcSLnJ5sLUpkr1wj81iMhnKQ=:cdrwa,ip:127.0.0.1:cdrwa 
[zk: localhost:2181(CONNECTED) 12] getAcl /abcd
'digest,'gagaya:MiCKcSLnJ5sLUpkr1wj81iMhnKQ=
: cdrwa
'ip,'127.0.0.1
: cdrwa

5. 超级管理员(super)
   超级管理员，可以访问任何权限的节点，只能在启动服务器的时候添加。
   假设这个超管是：super:admin
   先获取加密后的密码：

[root@iZuf6g3hri8hvnuqng6id7Z ~]# echo -n super:admin | openssl dgst -binary -sha1 |openssl base64
xQJmxLMiHGwaqBvst5y6rkB6HQs=

打开zk目录下的/bin/zkServer.sh服务器脚本文件，找到如下一行：

nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}"

这就是脚本中启动zk的命令，默认只有以上两个配置项，我们需要加一个超管的配置项

"-Dzookeeper.DigestAuthenticationProvider.superDigest=super:xQJmxLMiHGwaqBvst5y6rkB6HQs="

那么修改以后这条完整命令变成了：

nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" "-Dzookeeper.DigestAuthenticationProvider.superDigest=super:xQJmxLMiHGwaqBvst5y6rkB6HQs="\
    -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null &

之后启动zk集群, 然后在客户端链接集群后，添加对应的超级用户，此时客户端就是超级管理员了

addauth digest super:admin

7. 共识协议

7 应用场景

提供的服务包括:统一命名服务， 统一配置管理，通知集群管理等，服务节点动态上下线，软负载均衡等

4.1 统一命名服务

4.2 统一配置管理

，