zookeeper

1、zab协议
分布式一致性协议包括proxy,但是 ZooKeeper并没有完全采用Paxos算法,而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,zookeeper原子消息广播协议)的协议作为其数据一致性的核心算法。

ZAB协议是为分布式协调服务ZooKeeper专门设计的一种支持漰溃恢复的原子广播协议。
所有事务请求必须由一个全局唯一的服务器来协调处理,这样的服务器称为Leader服务器,而余下的其他服务器则成为Follower服务器。Leader服务器负责将一个客户端事务请求转换成一个事务Proposal(提议),并将该Proposal分发给集群中所有的Follower服务器。之后Leader服务器需要等待所有Follower服务器的反馈,一旦超过半数的Follower服务器进行了正确反馈后,那么Leader就会再次向所有的Follower服务器分发Commit消息,要求其将前一个Proposal进行提交。

1、简述ZAB协议

zab协议是一种支持崩溃恢复的原子广播协议,他能够保证集群中各个副本数据的一致,支持全局唯一的变更序列,支持崩溃恢复。

2、zab如何做个各个副本数据的一致?

在zab中只有leader可以处理事务请求,把数据变更的操作以事务proposal的形式广播给集群中所有的节点,然后等待反馈,如果超过半数节点都通过,再次发送commit请求完成数据变更。

3、zab如何保证数据变更的全局顺序?

通过zxid来保证,zxid是一个64位的数字,前32位是一个epoch编号,每次领导选举之后就会加1,后32位是一个自增的序列,每个事务请求自动加1,并且leader会为所有的follwer维护一个发送队列,将发送的proposal按照先后顺序存入队列中依次发送。

4、zab如何支持崩溃恢复?

集群中所有的服务器都以长连接的形式保持通信,如果集群中超过一半以上的follwer无法连接到leader,就会自动进入领导选举,进而选举出新的leader
5、zab的工作模式简介
zab有两种工作模式,一种是恢复模式,一种是广播模式。恢复模式下进行领导选举,广播模式处理事务请求。

6、简述领导选举过程

首先服务器将自身状态转换为looking,并向集群中所有的服务器发起投票(myid,zxid)
接收其他服务器发送的投票,并进行处理,按照zxid最大的作为leader,如果相同按照myid最大的作为leader,更新投票信息,再次向集群发送投票
统计投票结果,超过半数以上的投票即为leader
如果leader是自己,就把自己的状态变更为leading,否则变为follwing

7、简述事务请求的过程

只有leader可以处理事务请求,follwer接收到事务请求后要转发给leader
leader以proposal的形式发送给所有的follwer,等待响应
follwer接收到请求后首先记录事务日志,然后返回响应
如果超过半数以上的follwer都返回正确的响应,再次向所有follwer发送commit请求
follwer开始变更内存数据库
最后响应客户端

8、watcher机制简介

客户端使用watchmanager来存储注册节点和watcher对象的映射
客户端向服务端发送注册路径和状态信息,服务端会把路径和当前的连接servercnxn存储在内部的watchmanager中
一旦节点数据有变化就从watchmanager中查出servercnxn,并回调process
回调客户端,客户端从watchmanager中取出watcher,执行回调逻辑

9、zookeeper是如何保证原子更新的?

采用乐观锁,类似JDK中的cas操作,读取数据,校验,提交,使用version来校验数据从读取后有没有发送变化

10、sessionId是如何生成的,如何保证其全局唯一?

sessionId是64位的数字,前8位是myid,后56位是当前的时间戳

11、简述zookeeper会话管理

zk使用会话管理器sessiontracker来管理session。sessiontracker使用分桶策略来管理session,客户端创建或刷新session的时候会按超时时间来把session放到不同的桶里。后台有一个专门线程负责来在固定的时间点定时检查session,如果session在超时时间范围内已经刷新,就会被重新放到新的桶里,如果没有刷新就会被清理掉。

12、简述zk的数据存储

zk事务日志
zk dump,定期dump,可以配置日志记录数量超过多少次之后就可以把内存中的数据dump到快照文件中去。

14、zookeeper如何保证事务的一致性?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,064评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,606评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,011评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,550评论 1 269
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,465评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,919评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,428评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,075评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,208评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,185评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,191评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,914评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,482评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,585评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,825评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,194评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,703评论 2 339

推荐阅读更多精彩内容

  • Apache Zookeeper是由Apache Hadoop的子项目发展而来,于2010年11月正式成为Apac...
    olostin阅读 6,083评论 2 9
  • 本文将从系统模型、序列化与协议、客户端工作原理、会话、服务端工作原理以及数据存储等方面来揭示ZooKeeper的技...
    端木轩阅读 3,765评论 0 42
  • 浅谈分布式服务协调技术 Zookeeper Google的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论...
    algernoon阅读 1,570评论 1 12
  • 一个真正的写数据流程是怎么样的?一个真正的读数据流程是怎么样的?一个真正的同步数据流程是怎么样的?从哪里到哪里?什...
    时待吾阅读 3,995评论 0 14
  • 爱上一个人,不是一味的愿意付出,而是他值不值得你付出。 话好听,但非真,别急着抗拒,善于辨别他的目的。 一个人的精...
    Joan馒头阅读 192评论 0 0