我们可以选择官方编译好的Hadoop进行安装，但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。
源码构建
环境：
- Ubuntu(Unix)
- Java 1.7+
- Maven 3.0 or later
- ProtocolBuffer 2.5.0
- CMake 2.6 + （native code）
- Zlib devel (native code)
- 联网
工具准备
首先从GitHub下载Hadoop源码：
解压到任意文件夹 tar -zxvf
-
安装JDK-1.7
$ sudo apt-get purge openjdk* $ sudo apt-get install software-properties-common $ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java7-installer -
安装Maven
$ sudo apt-get -y install maven -
安装编译Native Code(本机代码)需要的组件
$ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev -
安装ProtocolBuffer 2.5.0
$ sudo apt-get -y install libprotobuf-dev protobuf-compiler
从源码构建
切换到Hadoop源码根目录
$ mvn clean #清理mvn
有多种方式构建，这里我们选择不带源码的二进制发行版（binary distribution）,编译成本机代码。
$ mvn package -Pdist,native -DskipTests -Dtar #使用maven 进行构建
这里视网络情况和机器性能不等编译时间也不同。因为maven需要向网络请求依赖库，构建完成后显示
[INFO] BUILD SUCCESS
这时在Hadoop源码根目录下切换到
$ cd ./hadoop-dist/target
找到Hadoop-2.7.3目录，我们需要的编译构建好的Hadoop二进制文件就在这里啦。
软件结构
total 120
drwxr-xr-x 2 root root 4096 9月 5 19:17 bin #Hadoop组件命令，包涵Windows的cmd
drwxr-xr-x 3 root root 19 9月 5 19:17 etc #Hadoop配置文件
drwxr-xr-x 2 root root 101 9月 5 19:17 include #对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是C++定义的，通常用于C++程序访问HDFS或者编写MR程序
drwxr-xr-x 3 root root 19 9月 5 19:17 lib #该目录提供了对外编程的静态库和动态库，与include目录下的头文件结合使用（并不是一些依赖jar包）
drwxr-xr-x 2 root root 4096 9月 5 19:17 libexec #各个服务所对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息
-rw-r--r-- 1 root root 84854 9月 5 19:17 LICENSE.txt
drwxr-xr-x 3 root root 4096 9月 19 02:24 logs #日志文件
-rw-r--r-- 1 root root 14978 9月 5 19:17 NOTICE.txt
-rw-r--r-- 1 root root 1366 9月 5 19:17 README.txt
drwxr-xr-x 2 root root 4096 9月 9 03:49 sbin #对Hadoop组件操作的shell文件
drwxr-xr-x 4 root root 29 9月 5 19:17 share #hadoop 各个模块编译后的jar包所在目录,以及文档所在目录
单机部署
-
安装ssh和rsync
$ sudo apt-get install ssh $ sudo apt-get install rsync -
将刚刚编译好的hadoop-2.7.3文件拷到想安装的目录下，配置
etc/hadoop/hadoop-env.sh文件中的JAVA_HOME为# set to the root of your Java installation export JAVA_HOME=/usr/java/latest -
尝试运行
bin/hadoop看能否正常输出，同时可以运行$ ./bin/hadoop version查看版本和编译情况
-
按照步骤进行如下检查，看是否报错，没有的话单机配置就完成了
$ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' $ cat output/*
分布式部署
参考 Cluster Setup 及单机中Single Node Setup 伪分布式的配置
配置host
vi /etc/hosts
192.168.0.1 master
192.168.0.2 salve1
192.168.0.3 salve2
配置ssh免密登陆
-
首先尝试
ssh localhost，如果不成功首先要将自己主机加入授权key的列表中$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys然后照此法将每台机子之间的key互通
-
关闭防火墙，每种系统方法不一样，重要机器请慎重关闭
修改配置文件
这里的重点集中在etc/hadoop中的几个配置文件中
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://test1:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>test1:9001</value>
<description>secondarynamenode的web地址</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
<description>提供web访问hdfs的权限</description>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>test1:10020</value>
<description>jobhistory是Hadoop自带了一个历史服务器，记录Mapreduce历史作业</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>test1:19888</value>
<description>jobhistory的http地址</description>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.scheduler.fair.allocation.file</name>
<value>/path-of-fair-shceduler-xml/fair-scheduler.xml</value>
<description>对fair-scheduler进行设置，否则无法按找期望分配队列资源</description>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
<description>yarn资源管理的http地址</description>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
<description>例子为20G，yarn的node资源，可不设置但是不可以太小</description>
</property>
</configuration>
fair-scheduler.xml
<?xml version="1.0"?>
<allocations>
<userMaxAppsDefault>30</userMaxAppsDefault>
<queue name="root">
<minResources>10240mb,3vcores</minResources>
<maxResources>20480mb,6vcores</maxResources>
<maxRunningApps>100</maxRunningApps>
<weight>1.0</weight>
<schedulingMode>fair</schedulingMode>
<aclSubmitApps> </aclSubmitApps>
<aclAdministerApps> </aclAdministerApps>
<queue name="root">
<minResources>10240mb,3vcores</minResources>
<maxResources>20480mb,6vcores</maxResources>
<maxRunningApps>100</maxRunningApps>
<schedulingMode>fair</schedulingMode>
<weight>1.0</weight>
<aclSubmitApps>*</aclSubmitApps>
</queue>
</queue>
</allocations>
检查是否成功
-
首先将配置同步到其他节点
$ scp -r /usr/local/hadoop-2.7.3/etc/* test2:/usr/local/hadoop-2.7.3/etc/ -
启动hadoop组件
bin/hdfs namenode –format sbin/start-dfs.sh sbin/start-yarn.sh -
jps查看进程
test1: 23297 SecondaryNameNode 22824 NameNode 18617 NodeManager 18443 ResourceManager 11596 Jps test2: 31971 Jps 14170 NodeManager 28237 DataNode
-
通过浏览器查看
1.http://master-ip:50070 namenode的hdfs页面地址 2.http://master-ip:8088/cluster/ yarn资源的页面地址 -
跑示例程序检查
过程类似单机测试，不过文件要上传hdfs，关于文件的命令请参考hdfs，这里只写出了本地的
$ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' $ cat output/*
查看运行日志
有问题及时查看./logs下的日志和Yarn的页面，跟踪解决。
其他
修改环境变量方便操作
- Java
export JAVA_HOME=/usr/local/jdk1.8.0_111 #java-install-path
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- Hadoop
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/local/jdk1.8.0_111
export HADOOP_HOME=/usr/local/hadoop-2.7.3 #Hadoop-install-path
export PATH=$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin
不要忘记source /etc/profile
关于环境变量的优先级，我会再写一篇文章探讨
