第一次搭建hadoop环境,因为目前没有linux环境,只能在window本地搭建,window环境的搭建比linux麻烦点,做下记录,毕竟好记性不如烂笔头,并且现在记忆里不断地下降。。。
初学hadoop,很多内容都是边查边学的理解的不对,还请指正。。。。
1、环境准备
我用的hadoop的版本是最先版本3.2的版本,下载地址:https://hadoop.apache.org/release/3.2.0.html的二进制版本,如果在window环境中部署安装hadoop需要winutils,官方推荐的下载地址https://github.com/4ttty/winutils,找到相应版本进行配置。
我安装的hadoop是hadoop-3.2.0的版本,选择的winutils的版本为3.1(目前的最高版为3.1,测试过可用)
2、安装步骤
(1)解压hadoop-3.2.0到D:\hadoop-3.2.0,
(2)然后配置环境变量,HADOOP_HOME=D:\hadoop-3.2.0,环境变量PATH=%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
(3)cmd窗口运行hadoop version,如下图所示表示安装配置成功
如下图:
(4)
因为在window环境下需要解压apache-hadoop-3.1.0-winutils-master.zip这个并替换D:\hadoop-3.2.0\bin中的相同文件
(5)修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件:
hadoop 启动:在cmd中start-all
hadoop资源、节点的查看web地址:http://localhost:8088/cluster
hdfsweb地址:http://localhost:9870/dfshealth.html#tab-overview,hadoop版本3以后的端口由http://localhost:50070/修改为了http://localhost:9870
创建hdfs额目录:
hadoop fs -mkdir /test
hadoop fs -mkdir /test/input
-put 是上传命令 -ls是查看命令
C:\Users\Administrator>hadoop fs -put D:\test\hadoop_test.txt /test/input 上传文件
C:\Users\Administrator>hadoop fs -ls /test/input 查看上传的文件
C:\Users\Administrator>hadoop jar D:\hadoop-3.2.0\share\hadoop\mapreduce\hadoop-
mapreduce-examples-3.2.0.jar wordcount /test/input /test/output 使用wordcount方法统计字符个数
C:\Users\Administrator>hadoop fs -ls /test/outpu 查看输出目录
3、demo测试
(1)随便创建一个文档,D:\test\hadoop_test.txt
(2)上传并运行wordcount方法(命令参考上面步骤)
运行结果: