HDFS（Hadoop Distributed File System）是一种分布式文件系统，它具有高容错的特点，并且可以部署在廉价的通用硬件上，提高吞吐率的数据访问，适合那些需要处理海量数据集的应用程序。它提供了一套特有的、基于Hadoop抽象文件系统的API，支持以流的形式访问文件系统中的数据。本篇主要介绍HDFS的命令基本操作：
HDFS常用命令操作有：
hadoop fs -ls / (查询目录)
hadoop fs -mkdir /test （在根目录下创建一个目录test）
hadoop fs -put ./test.txt /test （将本地的test.txt文件上传到HDFS根目录下的test文件夹中去）
hadoop fs -copyFromLocal ./test.txt /test （同上）
hadoop fs -get /test/test.txt （从HDFS目录中获取文件）
hadoop fs -copyToLocal /test/test.txt （同上）
hadoop fs -cp /test/test.txt /test1 （HDFS内部的复制）
hadoop fs -rm /test1/test.txt （移除）
hadoop fs -mv /test/test.txt /test1 （如果两个目录是相同的，则该命令为重命名文件，否则为移动）
hadoop fs -rm -r /test1 （删除文件夹）
hadoop fs -help ls (查阅帮助，该命令为查看ls命令)
hadoop fs -cat README.txt（查看README.txt文件的内容）
首先确保Hadoop集群环境（可以参考前面的文章）可用，进入shell终端输入一下命令来对HDFS文件进行操作：
查询目录：hadoop fs -ls /
[root@probd01:/root]#hadoop fs -ls /
Found 8 items
drwxr-xr-x - root supergroup 0 2019-05-08 15:02 /data
drwxr-xr-x - root supergroup 0 2019-04-18 07:05 /hbase
drwxr-xr-x - root supergroup 0 2019-04-28 07:23 /import
drwxr-xr-x - root supergroup 0 2019-04-27 09:25 /demo
drwxr-xr-x - root supergroup 0 2019-04-09 07:05 /imported
drwxr-xr-x - root supergroup 0 2019-04-08 14:28 /spark223
drwxrwx--- - root supergroup 0 2019-05-08 15:04 /tmp
drwxr-xr-x - root supergroup 0 2019-04-08 13:47 /user
drwx-wx-wx - root supergroup 0 2019-04-08 13:25 /usr
列出来的是本集群的HDFS目录情况，包括权限、所有者、大小和修改时间。
创建目录：hadoop fs -mkdir /目录名
[root@probd01:/root]#hadoop fs -ls /
Found 9 items
drwxr-xr-x - root supergroup 0 2019-05-08 15:02 /data
drwxr-xr-x - root supergroup 0 2019-04-18 07:05 /hbase
drwxr-xr-x - root supergroup 0 2019-04-28 07:23 /import
drwxr-xr-x - root supergroup 0 2019-04-27 09:25 /demo
drwxr-xr-x - root supergroup 0 2019-04-09 07:05 /imported
drwxr-xr-x - root supergroup 0 2019-04-08 14:28 /spark223
drwxr-xr-x - root supergroup 0 2019-05-16 07:53 /test
drwxrwx--- - root supergroup 0 2019-05-08 15:04 /tmp
drwxr-xr-x - root supergroup 0 2019-04-08 13:47 /user
drwx-wx-wx - root supergroup 0 2019-04-08 13:25 /usr
上传文件到HDFS目录下：hadoop fs -put 本地文件路径 /HDFS目录 或者 hadoop fs -copyFromLocal 本地文件路径 /HDFS目录
首先我们用vim编写一个叫test.txt的文件，然后上传到HDFS中的test目录下。
[root@probd01:/root]#vim test.txt
hello HDFS
~
~
"test.txt" [New] 2L, 12C written
[root@probd01:/root]#
[root@probd01:/root]#hadoop fs -put ./test.txt /test
[root@probd01:/root]#hadoop fs -ls /test
Found 1 items
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt
[root@probd01:/root]#vim test1.txt
hello HDFS
~
~
"test1.txt" [New] 1L, 11C written
[root@probd01:/root]#
[root@probd01:/root]#hadoop fs -copyFromLocal test1.txt /test
[root@probd01:/root]#hadoop fs -ls /test
Found 2 items
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt
-rw-r--r-- 3 root supergroup 11 2019-05-16 08:09 /test/test1.txt
从HDFS中获取文件：hadoop fs -get /目录/文件名 或者 hadoop fs -copyToLocal /目录/文件名
[root@probd01:/root]#cd mytest/
[root@probd01:/root/mytest]#ls
[root@probd01:/root/mytest]#hadoop fs -get /test/test1.txt
[root@probd01:/root/mytest]#ls
test1.txt
[root@probd01:/root/mytest]#cat test1.txt
hello HDFS
[root@probd01:/root/mytest]#hadoop fs -copyToLocal /test/test.txt
[root@probd01:/root/mytest]#ls
test1.txt test.txt
[root@probd01:/root/mytest]#cat test.txt
hello HDFS
HDFS内部文件的复制: hadoop fs -cp /目录/文件名 /目录
[root@probd01:/root/mytest]#hadoop fs -cp /test/test.txt /test1
[root@probd01:/root/mytest]#hadoop fs -ls /test1
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:24 /test1
HDFS文件的移除：hadoop fs -rm /目录/文件名
[root@probd01:/root/mytest]#hadoop fs -rm /test/test1.txt
19/05/16 08:26:39 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.
Moved: 'hdfs://probd/test/test1.txt' to trash at: hdfs://probd/user/root/.Trash/Current
[root@probd01:/root/mytest]#hadoop fs -ls /test
Found 1 items
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test.txt
可以看到在原来的目录里面已经成功将文件移除，但是这里出现了一个提示信息，这里信息需要注意一下，在linux系统里，我们知道没有回收站的概念,所以rm -rf导致的结果是非常严重的。然而在hadoop或者说hdfs里面，有trash相关的概念，可以使得数据被误删以后，还可以找回来。从上面我们可以看到，删除的文件只是被移动到了"/user/root/.Trash/Current"中，我们进入里面看到底是不是存在：
[root@probd01:/root/mytest]#hadoop fs -ls /user/root/.Trash/Current
Found 1 items
drwx------ - root supergroup 0 2019-05-16 08:26 /user/root/.Trash/Current/test
[root@probd01:/root/mytest]#hadoop fs -ls /user/root/.Trash/Current/test
Found 1 items
-rw-r--r-- 3 root supergroup 11 2019-05-16 08:09 /user/root/.Trash/Current/test/test1.txt
是的，的确存在，而且保存的还是文件之前的整个路径，以便在恢复的时候能够回到原来的位置。
我们回过头看之前的提示信息，还有一个Deletion interval = 1440 minutes, Emptier interval = 0 minutes，这个是什么东西？
原来在hadoop里有一个trash选项设置，这个选项默认是关闭的。所以如果要生效，需要提前将trash选项打开。修改conf里的core-site.xml即可。我们集群的相关配置如下：
<!--Enabling Trash-->
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
fs.trash.interval是在指在这个回收周期之内，文件实际上是被移动到trash的这个目录下面，而不是马上把数据删除掉。等到回收周期真正到了以后，hdfs才会将数据真正删除。默认的单位是分钟，1440分钟=60*24，刚好是一天。
fs.trash.checkpoint.interval则是指垃圾回收的检查间隔，应该是小于或者等于fs.trash.interval。
移动或重命名文件：hadoop fs -mv /目录/文件名 /目录
如果两个目录是相同的，则该命令为重命名文件，否则为移动。
重命名：
[root@probd01:/root/mytest]#hadoop fs -mv /test/test.txt /test/test2.txt
[root@probd01:/root/mytest]#hadoop fs -ls /test
Found 1 items
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /test/test2.txt
移动：
[root@probd01:/root/mytest]#hadoop fs -mv /test/test2.txt /demo
[root@probd01:/root/mytest]#hadoop fs -ls /demo
Found 1 items
-rw-r--r-- 3 root supergroup 12 2019-05-16 08:02 /demo/test2.txt
[root@probd01:/root/mytest]#hadoop fs -ls /test
[root@probd01:/root/mytest]#
查看文件内容：hadoop fs -cat 文件
[root@probd01:/root/mytest]#hadoop fs -cat /demo/test2.txt
hello HDFS
查阅帮助：hadoop fs -help 命令
[root@probd01:/root/mytest]#hadoop fs -help ls
-ls [-d] [-h] [-R] [<path> ...] :
List the contents that match the specified file pattern. If path is not
specified, the contents of /user/<currentUser> will be listed. Directory entries
are of the form:
permissions - userId groupId sizeOfDirectory(in bytes)
modificationDate(yyyy-MM-dd HH:mm) directoryName
and file entries are of the form:
permissions numberOfReplicas userId groupId sizeOfFile(in bytes)
modificationDate(yyyy-MM-dd HH:mm) fileName
-d Directories are listed as plain files.
-h Formats the sizes of files in a human-readable fashion rather than a number
of bytes.
-R Recursively list the contents of directories.
删除文件夹：hadoop fs -rm -r /目录
[root@probd01:/root/mytest]#hadoop fs -rm -r /test
19/05/16 11:30:16 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.
Moved: 'hdfs://probd/test' to trash at: hdfs://probd/user/root/.Trash/Current
还是和上面一样，删除的文件夹被移动到了/user/root/.Trash/Current中，以便以后需要的时候能够恢复。
