首先要运行hadoop
注意:我的Hadoop目录为 /usr/hadoop
cd /usr/hadoop/sbin
./start-all.sh
jps
查看 Java 进程如下
注意,确实某个Java进程很可能运行失败,查一下自己Hadoop配的是否正确
可以参照我的Hadoop2.8.5伪分布安装步骤
创建file文件夹
创建名称为file
的文件夹并向里面写点东西,我这里创建的路径为/usr/hadoop/file
cd /usr/hadoop
mkdir file
cd file
echo "hello world, hadoop java" >> file1.txt
echo "hello world, hadoop python" >> file2.txt
在HDFS上创建文件夹目录/input
创建完后把本地硬盘上创建的文件传进input
里面:
hadoop fs -mkdir /input
hadoop fs -put /usr/hadoop/file/file*.txt /input
可以用hadoop fs -ls
查看结果
找到Hadoop自带运行的wordcount java包
一般在Hadoop相对路径的 ./hadoop/share/hadoop/mapreduce
中
例子jar包就是这个
hadoop-mapreduce-examples-2.8.5.jar
运行命令如下:(写到/output/wordcount1中)
hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/wordcount1
看一下/output/wordcount1中有什么
hadoop fs -ls /output/wordcount1
发现新建了一个_SUCCESS文件和一个part-r-00000文件
内容存储在part-r-00000文件中,查看结果命令如下:
hadoop fs -cat /output/wordcount1/part-r-00000