1.发行版本

Hadoop发行版本分为开源社区版和商业版，社区是指同Apache软件基金会维护的版本，是官方维护的版本体系，是官方维护版本体系。商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试面发行的版本，比较著名的cloudera的CDH、mapR等

Hadoop的版本很特殊，是由多条分支并行的发展着。大的来看分为3个大的系列版本：1.x、2.x、3.x。
Hadoop2.0则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。当前稳定版本：Apache Hadoop 2.7.4

2.集群简介

Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群负责海量数据的存储，集群中的角色主要有：
NameNode、DataNode、SecondaryNameNode
YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：
ResourceManager、NodeManager
MapReduce是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理

在这里插入图片描述

集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点分开部署在不同的机器上
我以3个节点为例进行搭建，角色分配如下：

服务器名	服务名
node-01	NameNode，DataNode， ResourceManager
node-02	DataNode， NodeManager， SecondaryNameNode
node-03	DataNode， NodeManager

3.服务器准备

VMware Workstation Pro 14
CentOS 7.4

4.服务器系统设置

同步时间
- 手动同步时间
  date -s "2019-04-30 10:00"
- 网络同步时间
  yum install ntpdate # 安装软件
  ntpdate cn.pool.ntp.org
设置主机名
hostname node-1
配置IP、主机名映射
vi /etc/hosts
配置ssh免密登陆
- 生成ssh免登陆密钥
  ssh-keygen -t rsa (四个回车)
- 执行完这个命令后，会生成id_rsa（私钥）、id_rsa.pub（公钥）
- 将公钥拷贝到要免密登陆的目标机器上
  ssh-copy-id node-2
配置防火墙
- 查看防火墙
  systemctl status firewalld.service
- 关闭防火墙
  systemctl stop firewalld.service
- 关闭防火墙开机启动
  systemctl disable firewalld.service

5.软件安装

下面安装步骤中的所有安装包可在“官网下载地址”下载，也可以直接从网盘下载
网盘地址（提取码：yeb1）

需要的安装包
yum gcc gcc-c++ cmake openssl-devel ncurse-devel vim
如使用网盘内的安装包，并且系统和我一样是centos7.4，也可直接使用hadoop-2.8.5-with-CentOS7.tar.gz包，跳过Hadoop编译安装
tar zxf hadoop-2.8.5-with-CentOS7.tar.gz /root/apps/
JDK环境安装
- 下载JDK安装包并上传
  官网下载地址
  
  在这里插入图片描述
- 解压安装包
  mkdir apps
  tar zxf jdk-8u211-linux-x64.tar.gz -C /root/apps/
- 配置环境变量 /etc/profile
```
vim /etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
```
- 刷新配置
  soure /etc/profile
Hadoop编译安装
- 需要安装包
  yum gcc gcc-c++ cmake openssl-devel ncurse-devel vim
- 安装maven
  官网下载地址
  
  在这里插入图片描述
  
  解压：
  tar zxf apache-maven-3.6.1-bin.tar.gz -C /usr/local/
  配置环境变量 /etc/profile
```
vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.1
export PATH=${PATH}:${MAVEN_HOME}/bin
```
  刷新配置
  soure /etc/profile
- 安装protobuf
  软件下载
  解压：
  tar zxf protobuf-2.5.0.tar.gz -C /usr/local/
  编译安装：
  cd /usr/local/protobuf-2.5.0/
  ./configure
  make && make install
  验证：
  protoc --version
  
  在这里插入图片描述
- Hadoop编译安装
  选择2.8.5 source下载
  官网下载地址
  
  在这里插入图片描述
  
  解压：
  tar zxf hadoop-2.8.5-src.tar.gz
  编译
  mvn package -DeskipTests -Pdist,native
  或者
  mvn package -DeskipTests -Pdist,native -Dtar
  等待编译完成，时间很长，可以喝个茶，打个游戏去
  
  在这里插入图片描述
  
  直到看到上面的内容那就说明编译完成了。
  cp -r hadoop-2.8.5-src/hadoop-dist/target/hadoop-2.8.5/ /root/apps/

6.Hadoop安装包目录结构

bin: Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。
etc: Hadoop配置文件所在的目录，包括core-size.xml、hdfs-size.xml、mapred-site.xml等从Hadoop1.0继承来的配置文件和yarn-size.xml等Hadoop2.0新增的配置文件
include: 对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用c++定义的，通常用于c++程序访问HDFS或者编写MapReduce程序
lib: 该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用
libexec: 各个服务对用的shell配置文件所有的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息
sbin: Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本
share: Hadoop各个模块编译后的jar包所在的目录

7.Hadoop配置文件修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他各个从节点机器
进入文件夹
cd /root/apps/hadoop-2.8.5/etc

7.1.hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME,它也是不认识的，因为Hadoop即使是在本机上执行，它也是当前的执行环境当成远程服务器
vim hadoop-env.sh
export JAVA_HOME=/root/apps/jdk1.8.0_211

7.2.core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node-1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/apps/hadoop-2.8.5/tmp</value>
</property>

7.3.hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node-2:50090</value>
</property>

7.4.mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml 

<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

7.5.yarn-site.xml

 <!-- 指定 YARN 的老大（ResourceManager）的地址 -->
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>node-1</value>
     </property>
     <!-- NodeManager上运行的附属服务。需要配置成mapreduce_shuffle，才可运行MapReduce程序默认值-->
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>

7.6.slaves文件，里面写上主机名

vim slaves

node-1
node-2
node-3

7.7.将hadoop添加到环境变量

vim /etc/profile

export HADOOP_HOME=/root/apps/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7.8.下发配置

环境变量
scp /etc/profile node-2:/etc/
Hadoop文件
scp -r /root/apps/hadoop-2.8.5/ node-3:/root/apps
域名解析
scp /etc/hosts node-2:/etc/

*关于Hadoop的配置文件

***-default.xml 这里面配置了Hadoop默认的配置选项
如果用户没有更改，那么这里的选项将会生效

***-site.xml 这里配置了用户需要自定义的配置选项
site中配置选项优先级>Default中的，如果有配置的话，就会覆盖默认的配置选项

Hadoop集群--(1)搭建