书到用时方恨少
1.首先在/home/下创建一个文件夹叫hadoop
2.进入到hadoop文件夹下,下载hadoop包
3.解压刚刚下载的hadoop文件包
4.配置hadoop
1.单机模式配置方式
安装单机模式的Hadoop无须配置,在这种方式下,Hadoop被认为是一个单独的Java进程,这种方式经常用来调试。
2.伪分布式模式配置
可以把伪分布式的Hadoop看作一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。
3.完全分布式模式
这个就是真正的分布式,通常前两种是便于程序测试与调试用的。
下面我们进行伪分布式的配置
- 1.进入hadoop-*/etc/hadoop/在这个文件夹下
- 2.使用vim编辑Hadoop-env.sh文件,修改jdk的路径为你的jdk路径
- 3.继续使用vim编辑core-site.xml文件,这里是配置HDFS的地址及端口号
- 4.使用vim编辑hdfs-site.xml文件,这是HDFS的配置文件,配置的备份方式默认是3,在单机版中需将其改为1
- 5.使用vim编辑mapred-site.xml文件,这是MapReduce的配置文件,配置JobTracker的地址及端口,通常情况下是这个文件mapred-site.xml.template,你需要复制一份把template后缀删了
- 6.截至目前为止,简单的配置已经结束,接下来使用如下命令格式化Hadoop的文件系统HDFS,进入Hadoop文件夹的/bin目录下,输入
- 7.在启动之前,还需要做一件事,那就是把自己的公钥添加给自己,这样启动Hadoop就不用输密码了,如下
- 8.进入Hadoop目录下的/sbin目录下输入如下命令启动Hadoop
- 9.打开浏览器,分别输入网址如下网站,如果能查看,说明已安装成功
http://localhost:8088(MapReduce的Web页面)
http://localhost:50070(HDFS的Web页面)