大数据|zookeeper简介及3个简单易懂的案例分析(一)

一、zookeeper简介

zookeeper是一个分布式应用程序协调服务,分布式应用程序可以基于它实现同步服务。具体来讲zookeeper可以实现的分布式协调服务包括:

1)统一名称服务

2)配置管理

3)分布式锁

4)集群节点状态协调(负载均衡/主从协调)

二、三个案例

1)统一名称服务

我们设想这么一个场景,有3个客户端需要调用有同样服务的一个分布式应用系统,在这个系统中现有3台提供服务的服务器,server01、server02、server03。如下图一:

图一

在这种情况下,要想让每个客户端知道分布式应用系统上有多少可以使用的服务时,需要在每个客户端设置一个配置文件用来记录有哪些可用的服务器。但是当分布式应用系统中有一台服务器挂掉或新加了一台可以提供相同服务的新服务器server04时,需要一个个去更新每个客户端的配置文件,这显然是一个很复杂的事,实际上服务也很难找到这些客户端。基于此,我们考虑增加一个第三方媒介来看看情况是否有改观。如图二:

图二

分布式应用系统里面如果有增加新的服务或者有老的服务挂掉都会即时注册到这个第三方媒介里面。当客户端需要访问某个服务时,也会先想第三方媒介发送请求,如图二中的1,第三方收到客户端请求后就会返回一台最合适的满足条件的服务器地址给客户端,比如当前负载最少的服务地址,客户端得到服务地址之后再去直接访问对应的服务。

这里的第三方主要做的是协调名称服务。

2)配置管理

我以前在做RPC时使用的是Hessian实现,把不同的功能的应用都做成一个服务,每个应用提供不同的服务,相互之间都有调用。如下图三:

图三

我当时遇到的问题主要有:

(1)当服务越来越多时,服务URL配置管理变得非常困难。此时需要一个服务注册中心,动态的注册和发现服务,使服务的位置透明。

(2)当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪个应用要在哪个应用之前启动。

(3)甚至后面当服务的调用量越来越大,服务的容量问题就暴露出来,这个服务需要多少机器支撑?什么时候该加机器?

为了解决这些问题,是否也可以通过一个第三方媒介呢?见图四:

图四

这个第三方主要工作是接收各个应用的服务注册和维护各服务之间的关系,当然也包括检测各服务的状态情况。集群节点状态协调(负载均衡/主从协调)这个协调服务也可以基于这种方式去实现。

3)分布式锁

最近我在学习Hadoop做数据分析这块,涉及到存在多个服务器中的程序都要访问一个共享资源文件时的文件同步问题,如下图五:

图五

这样出现的问题就是A服务里呈现在查看或更新这个共享资源时得到的数据很可能会是脏读、幻读的错误数据。解决方法也是可以利用第三方。如图六:

图六

这里的关键在A在访问之后或者获取访问权限时要把自己当前的最小id删除,同时重新生成一个新的大id。

四、总结

通过上面三个案例,我们知道这个第三方做的事主要是分布式应用程序的协调服务,如果把我们的每个应用比如成动物园里面的动物,为了更好地维护管理这些动物,那么就需要一个动物园的管理员。而zookeeper就是这么一个角色。

动物园管理员
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 195,980评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,422评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,130评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,553评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,408评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,326评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,720评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,373评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,678评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,722评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,486评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,335评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,738评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,283评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,692评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,893评论 2 335

推荐阅读更多精彩内容