一、首先要配置好java环境(这个网上多的是这里就。。。)
二、1.关闭防火墙
2.ssh免登陆配置
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod og-wx ~/.ssh/authorized_keys
测试 ssh localhost如果仍然提示要输入密码,那么可以vim ~/.ssh/config文件,添加以下代码。
Host localhost
AddKeysToAgent yes
UseKeychain yes
IdentityFile ~/.ssh/id_rsa
三、1.下载好Hadoop3.1.0(这里下载http://ftp.riken.jp/net/apache/hadoop/common/hadoop-3.1.0/)
2.我将下载好的Hadoop放到/usr/local/hadoop目录下
3.配置一下Hadoop环境
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
4.1 配置hadoop-env.sh
4.2配置core-site.xml——指定了NameNode的主机名与端口(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/core-site.xml)
4.3配置hdfs-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/hdfs-site.xml)
4.4配置mapred-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/mapred-site.xml )
4.5配置yarn-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/yarn-site.xml )
4.6格式化HDFS
在终端上 hdfs namenode -format
我这里没有下面这条信息不知道为啥,😄
4.7 一次启动hadoop所有进程:
在终端上 start-all.sh
4.8 在终端上 敲jps
看看节点是不是都有
放大招啦:测一下
浏览器输入:
http://localhost:9870/而不是http://localhost:50070/
为啥是http://localhost:9870呢,这是Hadoop3后面新特性吧😄,我是在大神指导下发现的😄
最后有不足指出请多多指教😄