HDFS常用命令
-
在 hdfs 文件系统上创建一个 input 文件夹
bin/hdfs dfs -mkdir -p /user/anna/input -
将测试文件内容上传到文件系统上
bin/hdfs dfs -put wc.input /user/anna/input -
查看上传的文件是否正确
bin/hdfs dfs -cat /user/anna/input/wc.input -
运行 mapreduce 程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/anna/input/ /user/anna/output -
查看输出结果
命令行查看： bin/hdfs dfs -cat /user/anna/output/p* -
将测试文件内容下载到本地
hadoop fs -get /user/output/p* /opt/module/hadoop -
删除输出结果
hdfs dfs -rmr /user/anna/output -
递归查看根目录下下所有文件和文件夹
hadoop fs -lsr / -
从本地剪切粘贴到hdfs
hadoop fs -moveFromLocal test /user/anna/test -
追加一个文件到已经存在的文件的末尾
hadoop fs -appendToFile appendTest.txt /user/anna/test/test(将appendTest.txt追加到hdfs中的test文件下) -
显示文件的末尾
hadoop fs -tail /user/anna/test/test -
修改文件所属权限
-chgrp -chown -chmod hadoop fs -chown anna:anna /user/anna/test/test -
从本地文件系统中拷贝文件到 hdfs 路径去
-copyFromLocal： hadoop fs -copyFromLocal copy.txt /user/anna/test -
从 hdfs 拷贝到本地
-copyToLocal： hadoop fs -copyToLocal /user/anna/test/copy.txt /opt/module -
从 hdfs 的一个路径拷贝到 hdfs 的另一个路径
-cp hadoop fs -cp /user/anna/input/wc.input /user/anna/test -
在 hdfs 目录中移动文件
-mv： hadoop fs -mv /user/anna/test/wc.input / -
-get：等同于 copyToLocal，就是从 hdfs 下载文件到本地
hadoop fs -get /user/anna/input/wc.input /opt/module -
-getmerge ：合并下载多个文件，比如 hdfs 的目录 /aaa/下有多个文件:log.1,log.2,log.3,...
hadoop fs -getmerge /user/anna/input /opt/module/new.txt 注意只能合并文件夹下的文件 -
-put：等同于 copyFromLocal
hadoop fs -put data/ /user/anna/test -rm：删除文件
-rmdir：删除空目录
-
-df ：统计文件系统的可用空间信息
hadoop fs -df -h / Filesystem Size Used Available Use% hdfs://master:9000 43.9 G 204 K 28.7 G 0% -
-du 统计文件夹的大小信息
hadoop fs -du / 186 /user 100 /wc.input hadoop fs -du -s / 统计根目录下文件夹大小总数 -
-setrep：设置 hdfs 中文件的副本数量
hadoop fs -setrep 2 /user/anna/input/wc.input
