ZooKeeper安装部署

 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。


1 概述

      ZooKeeper(动物园管理员),顾名思义,是用来管理Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员,同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。

  ZooKeeper是Hadoop的正式子项目,与Hadoop密切相关但却没有任何依赖。它是一个针对大型应用提供高可用的数据管理、应用程序协调服务的分布式服务框架,基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,提供的功能包括:配置维护、统一命名服务、状态同步服务、集群管理等。

  在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。

  根据ZooKeeper官方文档和ZooKeeper的作用,ZooKeeper一般有两种部署方式:

单机模式:运行一个Zookeeper实例

分布式模式:在多台机器上分别运行Zookeeper实例用于组成ZooKeeper集群提供服务

伪分布式模式:在一台物理机上运行多个Zookeeper实例


2 准备工作

JDK,版本大于1.6;

从官网下载最新的稳定版;

ZooKeeper支持在Windows平台上运行,但是只支持使用Windows作为开发平台,不能作为生产平台;

在生产环境,推荐ZooKeeper服务是最少为3个的集群,且最好运行在独立的物理机上。

  另外,需要注意的是,ZooKeeper集群是以宕机个数过半才会让整个集群宕机的,所以最好部署奇数个节点。ZooKeeper的单机模式是没有备份的,如果ZooKeeper宕了,服务也就停了,所以,在开发模式中可以使用单机模式,但是生成环境最好使用ZooKeeper集群的分布式模式。


3 单机模式

  以单机模式运行ZooKeeper服务是最简单的。因为ZooKeeper服务包含在一个JAR文件中,所以安装过程只要修改一个配置文件就行了。

将下载好的稳定版解压到某个目录,设置环境变量ZOOKEEPER_HOME指向该目录。然后需要修改基本配置,ZooKeeper的配置文件在conf目录下,这个目录下有zoo_sample.cfglog4j.properties,先将zoo_sample.cfg改名为zoo.cfg(ZooKeeper在启动时会找这个文件作为默认配置文件),在单机模式中,可以修改为下面的内容:

tickTime=2000

dataDir=/home/lxh/hadoop/data/zookeeper

clientPort=2181

tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。

dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。

clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求,通常为2181。

现在使用bin/zkServer.sh脚本启动ZooKeeper:

$ $ZOOKEEPER_HOME/bin/zkServer.sh start

如果显示下面内容,说明启动成功:

JMX enabled by default

Using config: /home/lxh/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

也可以通过jps命令查看:

6056 Jps

6009 QuorumPeerMain

QuorumPeerMain就是ZooKeeper的进程名。

ZooKeeper的日志信息输出使用了log4j,默认是控制台打印,可以修改$ZOOKEEPER_HOME/conf/log4j.properties来控制输出内容和位置。


4 分布式模式

  Zookeeper不仅可以单机提供服务,同时也支持多机组成集群来提供服务。

  在单机模式中运行ZooKeeper,对于测试、开发比较方便。但是在生产环境中,为了获得可靠的ZooKeeper服务,应该在一个集群上部署 ZooKeeper。因为ZooKeeper集群宕机个数过半才会让整个集群宕机,所以,只要集群中半数以上的ZooKeeper服务启动了,那么总的 ZooKeeper服务将是可用的。从而也推断出,如果有5台机器,可以保证2台机器故障而不影响整个集群,ZooKeeper能继续正常运行。(这里又提到关于集群中机器的数量,是因为我一般喜欢双数,在做架构设计时,极易选择双数作为机器数。)

  ZooKeeper的分布式模式的安装配置几乎跟单机模式一样,只是需要增加几个配置,下面是例子:

tickTime=2000

dataDir=/home/lxh/hadoop/data/zookeeper

clientPort=2181

initLimit=5

syncLimit=2

server.1=zoo1:2888:3888

server.2=zoo2:2888:3888

server.3=zoo3:2888:3888

initLimit:用来配置Zookeeper接受客户端(此处指是Zookeeper服务器集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数。超过这个时间,将被认为是连接失败。上面设置的总的时间长度是5*2000毫秒。

syncLimit:限定leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,上面设置的总时间长度是2*2000毫秒。

server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

另外,在集群模式下,除了修改zoo.cfg配置文件,还要配置一个文件myid,这个文件在dataDir目录下,这个文件里面就有一个数据就是A的值,Zookeeper启动时会读取这个文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

转载自:http://www.howardliu.cn/zookeeper-environment/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,175评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,674评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,151评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,597评论 1 269
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,505评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,969评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,455评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,118评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,227评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,213评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,214评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,928评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,512评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,616评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,848评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,228评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,772评论 2 339

推荐阅读更多精彩内容