从Windows-VM15-Ubuntu-Spark搭建全流程-（四）搭建Hadoop

（四）搭建Hadoop
硬件条件：

JDK1.8 （本系列文章一有分享如何下载）
Ubuntu 18.04LTS

目的是要搭建Hadoop（单机版）

第一步：下载Hadoop2.7.7
从以下地址下载后解压到dev文件夹
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

批注 2019-12-09 144949.png

# 解压
fi@ubuntu:~/dev$ tar -zxvf hadoop-2.7.7.tar.gz

第二步：配置Hadoop环境变量
由于建立的dev文件夹下准程配置环境变量的，那么进到这个dev的文件夹后

# 文件中添加如下代码
fi@ubuntu:~/dev$ sudo gedit ~/.bashrc

批注 2019-12-09 145821.png

# 执行命令
fi@ubuntu:~/dev$source ~/.bashrc

第三步：配置hadoop-env.sh

sudo gedit /dev/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
# 找到The java implementation to use.将其下面的一行改为：

export JAVA_HOME=/home/stephyfifi/dev/jdk1.8.0_231/

第四步：配置core-site.xml
其中IP为虚拟机IP

# 打开以下文档添加内容
fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit core-site.xml 
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///dev/hadoop-2.7.7</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1</value>
    </property>
</configuration>
# 保存关闭

第五步：配置core-site.xml

fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit hdfs-site.xml
# 打开的文档添加以下内容,并且新建下面<value>要求的文件夹，tmp、dfs、data
<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///dev/hadoop-2.7.7/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///dev/hadoop-2.7.7/tmp/dfs/data</value>
    </property>
</configuration>

第六步：SSH免密登陆

在命令行中输入如下内容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 这个过程中持续按回车就可以了 */
cat id_rsa.pub >> authorized_keys

第七步：启动与停止

# 第一次启动hdfs需要格式化，在命令行中输入如下命令（出现询问输入Y or N,全部输Y即可）
fi@ubuntu:~/dev/hadoop-2.7.7$ ./bin/hdfs namenode -format
# 启动
./sbin/start-dfs.sh

# 停止
./sbin/stop-dfs.sh

第八步：验证
验证，浏览器输入：http://127.0.0.1:50070

第九步：配置yarn

#1 配置mapred-site.xml

cd /dev/hadoop-2.7.7/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml

# 在文件中添加内容
<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


#2 配置yarn-site.xml
# 命令行中输入如下命令：
sudo gedit yarn-site.xml
# 在文件中添加内容
<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
# 3 yarn启动与停止

# 启动
cd /dev/hadoop-2.7.7/sbin/
./start-yarn.sh 

# 停止
cd /dev/hadoop-2.7.7/sbin/
./stop-yarn.sh

# 验证 浏览器 打开
http://127.0.0.1 :8088

成功啦

最后编辑于：2019.12.09 16:02:07