HBase——完全分布

实际上,在真实环境中你需要使用完全分布配置完整测试HBase。在一个分布式配置中,集群有多个节点,每个节点运行一个或多个HBase守护进程。其中包括主Master和备份Master实例,多个Zookeeper节点,多个RegionServer节点。

这个进阶教程将在你的集群上另加两个节点。架构如下:

表1. 分布式集群示例架构

Node Name | Master|ZooKeeper|RegionServer
---|---|--|--|--
node-a.example.com | 是|是|否
node-b.example.com | 备份|是|是
node-c.example.com| 否|是|是

确认所有节点都可以通信,且没有添加防火墙规则岛主通信失败。如果你看到任何类似no route to host错误,检查你的防火墙

步骤:配置无密码访问SSH
为了可以启动守护进程,node-a需要能够往node-bnode-c写日志。最简单的方法是所有的主机使用相同的用户名,并在node-a配置无密码访问SSH它们。

  1. node-a,生成一个密钥对。
    使用运行HBase的用户登录,生成一个SSH密钥对,用下列命令:
$ ssh-keygen -t rsa

如果命令成功,密钥对的地址会打印在标准输出。默认的公钥名称是id_rsa.pub

  1. 在其他节点服务器创建保存共享密钥的文件夹。
    node-bnode-c,用运行HBase的用户登录用户根目录创建一个.ssh/的文件夹。如果已存在,注意可能包含其他的密钥。
  2. 把公钥复制到其他的节点上
    安全的把node-a中的公钥复制到其他的节点上,使用scp或者其他的安全措施。在其他每个节点服务器上,创建一个名为.ssh/authorized_keys的文件,把id_rsa.pub文件追加在它后面。注意,你也需要在node-a中这么做。
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
  1. 测试无密码登录
    如果你操作过程正确的话,那么你在node-a中使用同样的用户名SSH登录其他节点,将不会提示输入密码。
  2. 由于node-b会运行一个备份Master,重复以上步骤。把node-a换成node-b。注意,不要覆盖.ssh/authorized_keys,而是把新的密钥使用>>操作连接在文件的后面。

步骤:准备 node-a
node-a将运行你的主master和Zookeeper进程,但是没有RegionServers。在node-a中停止已运行的RegionServer

  1. 编辑conf/regionservers,删除包含localhost的行。在node-bnode-c中添加 hostname 或IP地址。
    即使你想在node-a中运行RegionServer,你也要参考其他服务器上的交互方式使用hostname和IP。在此例中,是node-a.example.com
  2. 配置node-b为备份master
    conf/中创建一个文件backup-masters,添加一行node-b hostname,此例中的hostname是node-b.example.com
  3. 配置Zookeeper
    事实上,你应该仔细考虑你的Zookeeper配置。在 zookeeper 文档中你会找到更多细节。这份配置指导集群中的一个HBase启动和管理一个Zookeeper示例。
    node-a上,编辑conf/hbase-site.xml并添加下列属性。
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node-a.example.com,node-b.example.com,node-c.example.com</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>
  1. 在你的任何配置中,node-alocalhost都需要改成其他主机需要引用的node-a主机名。在此例中,主机名是node-a.example.com

步骤:准备node-bnode-c
node-b将要运行一个备份master服务和一个Zookeeper实例。

  1. 下载和解压HBase。
    node-b中,下载和解压HBase,正如快速指南中的独立和为分布模式。
  2. node-a中的配置文件复制到node-bnode-c
    你集群的每个节点都需要有同样的配置信息。把node-a中的conf/目录复制到node-bnode-c中。

步骤:启动和测试集群

  1. 确认所有节点都没有运行HBase
    如果你忘了停止之前测试的HBase,将会出错。用jps命令检查看所有服务器上是否还有HBase在运行。查看进程HMasterHRegionServerHQuorumPeer。如果存在这些进程,干掉它们。
  2. 启动集群。
    node-a中,运行start-hbase.sh命令。你的输出会类似下面:
$ bin/start-hbase.sh
node-c.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-c.example.com.out
node-a.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-a.example.com.out
node-b.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-b.example.com.out
starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-node-a.example.com.out
node-c.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-c.example.com.out
node-b.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-b.example.com.out
node-b.example.com: starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-nodeb.example.com.out

Zookeeper首先启动,然后是master和RegionServers最后启动备份 master。

  1. 检查进程运行。
    在集群每个节点上运行jps命令,检查每个服务器都正确运行了进程。你也可能看到一些其他的Java进程运行在服务器上,它们有其他的用途。

*例2. node-a jps输出 *
$ jps
20355 Jps
20071 HQuorumPeer
20137 HMaster
例3. node-b jps输出
$ jps
15930 HRegionServer
16194 Jps
15838 HQuorumPeer
16010 HMaster
例4. node-a jps输出
$ jps
13901 Jps
13639 HQuorumPeer
13737 HRegionServer
ZooKeeper 程序名
HQuorumPeer进程是一个ZooKeeper实例,由HBase控制和启动。如果你如此使用ZooKeeper,那么每个节点限制一个实例,适合测试使用。如果ZooKeeper不由HBase控制,进程叫QuorumPeer。对于更多的ZooKeeper配置,包括HBase之外的ZooKeeper实例,请看zookeeper

  1. 浏览Web UI
    在0.98x版本以后,HTTP端口由Master的60010端口和RegionServer的60030的端口改为16010和16030。
    如果所有都正确的话,你可以在浏览器中http://node-a.example.com:16010/看到Master的UI,http://node-b.example.com:16010/看到备份Master的UI。如果你可以通过localhost连接而host不能,检查下你的防火墙策略。你可以看使用各自RegionServer服务器的IP和16030端口查看Region Web UI,或者通过Master点击他们的链接。

  2. 当节点或服务消失时检查发生了生么。
    在你配置的三个节点的集群中,事情不会很复杂。你甚至可以在主Master或者一个RegionServer消失时通过杀死进程观察日志查看发生什么。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容

  • 入门指南 1. 简介 Quickstart会让你启动和运行一个单节点单机HBase。 2. 快速启动 – 单点HB...
    和心数据阅读 4,517评论 1 41
  • 该文档是用Hbase默认配置文件生成的,文件源是Hbase-default.xml hbase.rootdir 这...
    我是嘻哈大哥阅读 4,739评论 0 7
  • 最近在逐步跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hb...
    飞鸿无痕阅读 50,175评论 19 271
  • 今天孩子放学后,在她写完作业的情况下,我跟她玩了昨天晚上我教她的“手指游戏”。这个游戏可以锻炼人的手跟脑的默契(✪...
    金色阳光_53af阅读 175评论 0 0
  • 生就是存在,命就是使用。 生就是生活,命就是运作。 生就是学习,命就是工作。 生就是吃喝,命就是健康。 生就是自己...
    金地阳光阅读 573评论 1 0