二、Hadoop2.x分布式集群部署-YARN
一、配置 一台ResourceManage和三台NodeManager
1.yarn分布式部署
1.Yarn-env.sh
配置java环境变量
2.Yarn-site.xml
http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
2.mapreduce部署
1.mapred-env.sh
配置java环境变量与参数
2.mapred-site.xml
3.将配置转移到其他虚拟机
以转到第二台虚拟机为例
scp -r ./* kfk@bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
4.判断是否配置成功
二、HDFS启动集群运行测试
Bin/hdfs namenode –format
(1).启动各个节点机器服务（bigdata-pro01.kfk.com）：
1.Namenode
sbin/hadoop-daemon.sh start namenode
2.Datanode
sbin/hadoop-daemon.sh start datanode
3.Resourcemanager
sbin/yarn-daemon.sh start resourcemanager
4.Nodemanger
sbin/yarn-daemon.sh start nodemanager
5.Jobhistoryserver historyserver
mapreduce日志必须开启
./mr-jobhistory-daemon.sh start historyserver
(2).jbs查看节点
在其他主机配置DataNode、NodeManager的节点
三、YARN集群运行MapReduce程序测试
1.在目录下创建并编辑一个文件
2.判断是否创建
3.启动服务
bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/
4.HDFS服务页面
bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/
http://bigdata-pro01.kfk.com:50070/
5.YARN服务页面
http://bigdata-pro01.kfk.com:8088/
图为开启了两台虚拟机的服务
