Hadoop 2.6.0分布式环境安装

0x00    准备工作

hadoop-2.6.0.tar.gz以及zookeeper-3.4.8.tar.gz

Apache网站上提供的Hadoop包是32位的,关于如何在64位机器上如何重新编译Hadoop,请参考我的上一篇文章:编译Hadoop2.6.0

说明:Hadoop和Zookeeper的工作目录分别为:

/opt/hadoop-2.6.0

/opt/zookeeper-3.4.8

下图是关于Hadoop HDFS2.x HA整个架构的描述:

HDFS 2.x HA

关于Hadoop1.x和Hadoop2.x的异同,这里不再描述,不懂的话请自行Google或参考Apache官方文档


0x01    安装环境介绍

我们用5个节点来完成Hadoop2.6.0的分布式安装。如下图:

nodename-hostmae-ipaddress

我们用1来表示每个节点所拥有的角色。

architecture

NN: NameNode    DN: DataNode    JN: JournalNode    ZK: Zookeeper

ZKFC: DFSZKFailoverController

RM: ResourceManager    NM: NodeManager


0x02    安装

--安装前准备

[1] 修改主机的hostname

修改hostname,只修改一处就行![/etc/sysconfig/network]

这里纠正一下上一篇文章里提到的修改hostname的问题。如果按照上次修改hostname的方法,到最后运行Hadoop的时候,会遇到各种问题。因此hostname这个地方还是非常重要的!

[2] 修改hosts文件(/etc/hosts)

添加以下记录:

192.168.187.128  nn.athrob.com

192.168.187.129  snn.athrob.com

192.168.187.130  dn1.athrob.com

192.168.187.131  dn2.athrob.com

192.168.187.132  dn3.athrob.com

[3] JDK环境变量设置

这个不多说,不会请百度或Google。


--文件配置

关于一些配置文件内容的理解,可以参考hadoop的user guide

我们采用在一台机器上修改好相应的配置文件,然后远程拷贝到其他机器的方法来完成Hadoop2.6.0的完全分布式安装。

以下所有的配置,均在Node1这个节点上配置,然后在远程拷贝到相应的其他节点上去。

[1] 修改 hadoop-env.sh,yarn-env.sh中的JAVA_HOME

[2] 修改hdfs-site.xml,配置如下:

hdfs-site.xml

[3] 修改core-site.xml,配置如下:

core-site.xml

[4] 修改mapred-site.xml,配置如下:

mapred-site.xml

[5]  修改yarn-site.xml,配置如下:

yarn-site.xml

[6] 修改slaves,配置如下:

slaves

--Zookeeper配置

从前面可以看到,Zookeeper节点在Node1,Node2,Node3上。因此我们也是在Node1上配置好之后,再远程拷贝到Node2和Node3上。

首先加上Zookeeper环境变量

export ZK_HOME=/opt/zookeeper-2.4.8

export PATH=$PATH:$ZK_HOME/bin

关于Zookeeper的配置内容理解,可以参考zookeeper的guide

zookeeper的配置目录为:zookeeper-3.4.8/conf

配置文件为:zoo.cfg

解压好的zookeeper没有zoo.cfg这个文件,但是有zoo_sample.cfg,因此我们复制它就OK。

cp zoo_sample.cfg zoo.cfg

注释掉dataDir=/tmp/zookeeper

添加

dataDir=/opt/zookeeper

server.1=nn.athrob.com:2888:3888

server.2=snn.athrob.com:2888:3888

server.3=dn1.athrob.com:2888:3888

由于/opt/zookeeper这个文件夹不存在,因此,我们要创建一个。

mkdir /opt/zookeeper

zoo-myid

从zookeeper的文档我们可以看到,在它的工作目录下,需要一个myid的文件,但是这个文件现在是没有的,因此我们要创建一个。

touch /opt/zookeeper/myid

文件内容添加server的ID:1

因此,我们把zookeeper的配置文件从Node1拷贝到Node2,Node3之后,也要对应的修改myid文件中的内容。

由于前面我们配置的是:

【server.2=snn.athrob.com:2888:3888 】   --对应Node2】

【server.3=dn1.athrob.com:2888:3888 】   --对应Node3】

所以,Node2中myid文件内容是2;相应的Node3中myid文件内容就是3。


--运行

$在运行之前,我们需要吧Hadoop整个目录从Node1拷贝到Node2,Node3,Node4,Node5.

scp -r hadoop-2.6.0 root@snn.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn1.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn2.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn3.athrob.com:/opt/

$以及拷贝Zookeeper和相应的配置目录

scp -r /opt/zookeeper-3.4.8 root@snn.athrob.com:/opt/

scp -r /opt/zookeeper-3.4.8 root@dn1.athrob.com:/opt/

注:拷贝zookeeper的安装目录

scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/

scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/

注:拷贝zookeeper的dataDir,不要忘记在Node2,Node3上修改myid文件中的内容!

$在Node1,Node2,Node3节点上启动Zookeeper

zkServer.sh start

$在Node3,Node4,Node5节点上启动JournalNode

/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start journalnode

$在Node1节点上格式化NameNode

/opt/hadoop-2.6.0/bin/hadoop namenode -format

$然后启动该NameNode

/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode

$在没有格式化NameNode的Node2节点上复制Node1节点的fsimage

/opt/hadoop-2.6.0/bin/hdfs namenode -bootstrapStandby

注:在执行-bootstrapStandby之前请确保Node1节点上的NameNode已经正常启动!

$然后在其中一个NameNode节点(Node1或Node2)上初始化zkfc

/opt/hadoop-2.6.0/bin/hdfs zkfc -formatZK

如果没有初始化zkfc,启动完成后发现log日志里报这样一个错误:

org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.

#############################################################

如果没有任何问题的话,hadoop就能顺利启动运行了!

/opt/hadoop-2.6.0/sbin/start-dfs.sh

/opt/hadoop-2.6.0/sbin/start-yarn.sh

#############################################################

zkServer.sh start
start-dfs.sh
start-yarn.sh
netstat - Node1
jps in Node1
jps in Node2
jps in Node3
jps in Node4
jps in Node5
Active NameNode
Standby NameNode
Web ResouceManager

不足之处,请批评指正。

如有问题,请私信联系。

谢谢!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容