一、安装虚拟机
- 点击从光盘或映像中安装，选择创建虚拟机的镜像
- 继续下一步，点击自定设置，修改虚拟机的名称
-
打开虚拟机设置菜单
打开虚拟机设置菜单.png 点击网络适配器
- 确保虚拟机与宿主机网络共享
- 然后正式开始运行安装虚拟机，配置语言、系统安装位置、网络和主机名
- 修改主机名称
- 设置root密码后，按提示重启后，系统安装成功。
二、虚拟机初始化配置
系统重启后，需要登录需要输入用户名：root，以及刚才配置等root密码。
可以用ifconfig命令查看当前机器的IP：
ifconfig
如果虚拟机新安装的centos没有安装ifconfig命令报错，可以执行如下命令：
yum -y install net-tools
如果显示mirrors无法连接，则可能是网络没有启用联网功能，需要执行以下命令：
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
初始信息如下：
#网络类型为以太网
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
#是否自动获取IP(none和static代表静态手动分配、dhcp代表自动获取IP地址)
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=44cea-dcf6-3d3c-bd4e-98e47d9ffcy9
#网卡设备名
DEVICE=ens33
#是否随网络服务启动，ens33生效
ONBOOT=no
修改配置ONBOOT=no----->ONBOOT=yes即启动联网功能。
另外，我们在上述文件配置静态IP需要做如下修改和添加：
BOOTPROTO=static
ONBOOT=yes
#IP地址
IPADDR=192.168.2.144
#子网掩码
NETMASK=255.255.255.0
#网关
GATEWAY=192.168.2.1
#DNS
DNS1=114.114.114.114
保存后，输入以下命令激活，重启网络服务：
service network restart
之后即可执行ifconfig命令了。
使用centos注意关闭防火墙：
#暂时关闭防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl disable firewalld
Hadoop环境搭建步骤
一、集群规划
假设我们有5台Centos系统机器，一台作为Master，四台作为slaves。五台机器处于同一局域网内。
假设我们规划了五台机器的名称，并获得其IP如下：
master 172.18.0.5
slave1 172.18.0.1
slave2 172.18.0.2
slave3 172.18.0.3
slave4 172.18.0.4
为了更好的在Shell中区分这五台主机，我们分别在五台主机中执行如下命令：
sudo vim /etc/hostname
master的/etc/hostname添加：
master
同样，slave1的/etc/hostname添加：
slave1
所有5台机器都变更后，添加同样的配置：
sudo vim /etc/hosts
配置如下：
127.0.0.1 localhost
172.18.0.5 master
172.18.0.1 slave1
172.18.0.2 slave2
172.18.0.3 slave3
172.18.0.4 slave4
重启系统后，hostname才会更新：
sudo reboot
二、安装和配置ssh
首先，五台电脑分别运行如下命令，测试是否能连接到本地localhost:
ssh localhost
登陆成功会显示如下结果：
Last login: Mon Feb 29 18:29:55 2016 from ::1
如果不能登陆本地，请运行如下命令，安装openssh-server，并生成ssh公钥。
sudo yum -y install openssh-server
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
保证所有电脑都能连同本地localhost后，还需要让master能免密登陆slaves。在master执行如下命令，将master的id_rsa.pub传送给所有slaves：
scp ~/.ssh/id_rsa.pub root@slave1:/home/
scp ~/.ssh/id_rsa.pub root@slave2:/home/
scp ~/.ssh/id_rsa.pub root@slave3:/home/
scp ~/.ssh/id_rsa.pub root@slave4:/home/
之后在所有slaves电脑上执行以下命令，查看目录中是否有id_rsa.pub存在：
ls ~
接着，在所有slaves电脑上执行以下命令，将master公钥添加到对应节点上：
cat /home/id_rsa.pub >> ~/.ssh/authorized_keys
rm /home/id_rsa.pub
如果五台机器上用户名都一样，例如都是user，则master可以登陆任何slaves:
ssh slave1
如果五台机器用户名不一样，还需要在master修改~/.ssh/config文件，如果没有该文件，自己创建文件。
Host master
user XXX
Host slave1
user XXX
然后再免密登陆：
ssh slave1
三、JDK安装
五台机器都按以下方式安装JDK：
下载JDK，解压：
tar -zxvf jdk-7u79-linux-x64.tar.gz -C /home/
设置环境变量：
vim ~/.bash_profile
export JAVA_HOME=/home/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
# Setting PATH for Hadoop
export HADOOP_HOME=/home/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source .bash_profile
验证java是否配置成功:
java -version
四、安装hadoop, 填写配置文件
下载好的hadoop安装包文件解压到目标目录下，hadoop根目录下有以下几个重要的目录：
sbin：启动或停止hadoop相关服务的脚本。
bin：对hadoop相关服务(HDFS、YARN)进行操作的脚本。
etc：hadoop的配置文件目录。
share：hadoop的依赖jar包和文档。
lib：hadoop的本地库。
我们填写的配置文件都位于hadoop/etc目录下。hdfs相关的配置文件
以下配置文件是和hdfs组件相关的，需要填好才能启用hdfs的相关功能：
/etc/hadoop/hadoop-env.sh文件里需要给hadoop配置java环境：
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home
/etc/hadoop/core-site.xml文件用于配置hadoop运行时产生的临时数据的存储目录；以及hdfs的namenode的地址和端口号。
<configuration>
<property>
<!--hadoop临时目录-->
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoop/tmp</value>
<description>默认存在/tmp目录</description>
</property>
<property>
<!--HDFS NameNode地址-->
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<description>指定hdfs的主节点</description>
</property>
</configuration>
/etc/hadoop/hdfs-site.xml文件需要配置hdfs上数据的副本系数(包含原数据)、namenode和datanode数据存放的目录和secondarynamenode节点。
<configuration>
<property>
<!--HDFS副本数-->
<name>dfs.replication</name>
<value>2</value>
<description>指定hdfs的副本数</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
<description>指定namenode数据的目录</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
<description>指定datanode数据的目录</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
<description>指定secondarynamenode的节点</description>
</property>
</configuration>
/etc/hadoop/workers(slaves)，填写从属节点的主机名：
slave1
slave2
slave3
slave4
这个配置文件用于记录这个集群的所有datanode的主机名。
yarn相关的配置文件
以下配置文件是和yarn组件相关的，需要填好才能启用yarn的相关功能：
/etc/hadoop/mapred-site.xml文件指定mapreduce运行在什么地方：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>指定MapReduce运行在yarn上</description>
</property>
<property>
<name>mapreduce.reduce.shuffle.memory.limit.percent</name>
<value>0.10</value>
</property>
</configuration>
/etc/hadoop/yarn-site.xml文件指定yarn的主节点等信息：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
<description>指定yarn的主节点</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>允许MapReduce运行在yarn上</description>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
四、启动hdfs
在/bin目录下执行以下命令，格式化hdfs的文件系统，安装后执行一次即可：
hdfs namenode -format
格式化成功后，配置文件设置的tmp目录下会出现临时数据的目录结构。
在/sbin目录下执行以下命令即可启动hdfs服务：
./start-dfs.sh
执行完后，在任意目录下输入以下命令可以查看当前启动了哪些进程:
jps
如果上述命令可以查看到这个进程，则可以在浏览器中查看hdfs情况，这一步不同版本端口不太一样：
2.x：http://localhost:50070
3.x：http://localhost:9870
在/sbin目录下执行以下命令即可启动hdfs服务：
./stop-dfs.sh
五、启动yarn
在/sbin目录下执行以下命令，执行RM和NM进程：
sbin/start-yarn.sh
jps命令后可以查看到多了rm和nm的进程。或者在浏览器中键入以下地址，可以查看到RM的状况：http://localhost:8088
以Hadoop提供的测试文件/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar为例：
hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 2 3
在/sbin目录下执行以下命令，关闭RM和NM进程：
sbin/stop-yarn.sh
HDFS的使用
-
将hadoop的bin和sbin命令目录放到环境变量中，这样就可以在所有目录下使用命令
# Setting PATH for Hadoop
export HADOOP_HOME=/home/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
-
shell常用命令的使用
#确保有dataname开启的情况下可以使用以下命令，将文件上传到hdfs文件系统中。
hadoop fs -put <文件路径> <目标路径>
#text查看hdfs中文本内容
hadoop fs -text <hdfs中文本路径>
#mkdir在hdfs中创建目录
hadoop fs -mkdir <hdfs中文本路径>
#在hdfs中递归创建目录
hadoop fs -mkdir -p <hdfs中文本路径>
#从hdfs中获取文件
hadoop fs -mkdir -p <hdfs中文本路径>
#rm从hdfs中获取文件
hadoop fs -rm <hdfs中文本路径>
