几种访问HDFS文件的客户端的总结

• Permission：表示该文件或者目录的权限，和Linux的文件权限规则是一样的
• Owner：表示该文件或者目录的所有者
• Group：表示该文件或者目录的所有者属于的组
• Size：表示该文件或者目录的大小，如果是目录的话则一直显示0B
• Last Modified：表示该文件或者目录的最后修改时间
• Replication：表示该文件或者目录的备份数，如果是目录的话则一直显示0
• Block Size：表示该文件的数据块的大小，如果是目录的话则一直显示0B
• Name：表示文件或者目录的名字

 

 

HDFS Shell命令

HDFS提供了和Linux类似的命令来访问文件系统，比如在Linux中想看下文件目录/home/hadoop-twq/test中有哪些文件，我们可以执行：

ls /home/hadoop-twq/test

　　

那么在HDFS中也存在ls命令查看某个文件目录中有哪些文件，比如：

hadoop fs -ls hdfs://master:9999/user/hadoop-twq/test

　　

当然，我们也可以将hdfs://master:9999去掉，如下：

hadoop fs -ls /user/hadoop-twq/test

　　

那为什么可以去掉呢？因为当我们执行hadoop fs的命令的时候，程序会自动去Hadoop的配置core-site.xml中读取配置fs.defaultFS的值

## hdfs dfs效果和hadoop fs的效果是一模一样的
hdfs dfs -ls hdfs://master:9999/user/hadoop-twq/test

　　

Hadoop官网的 https://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/FileSystemShell.html

HDFS文件恢复机制

有一个命令我们得特别强调下，那么就是rm的命令，HDFS中的rm命令是删除文件的意思，但是用这个命令删除文件的时候并不是真正的删除，而是将文件放到对应的Trash目录中(其实和window电脑的回收站是一样的意思)，但是这个Trash机制默认不是打开的，我们需要在core-site.xml中打开如下的配置：

<!--单位是：分钟。默认值是0，表示禁用Trash机制-->
<!--下面的意思是保存删除的文件在.Trash文件目录中5分钟-->
<property>
<name>fs.trash.interval</name>
<value>5</value>
</property>
 

　　

 

 

那么在一个HDFS文件被删除后，5分钟之内还是可以从Trash目录中恢复出来的。比如，我们删除一个文件：

hadoop fs -rm -r /user/hadoop-twq/cmd-20180326

 

 

那么上面删除的文件就会move到文件目录hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/下，保存5分钟，在5分钟之内我们都可以通过下如的命令进行数据的恢复：

adoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq

 

 

如果我们确定直接删除文件，并不需要进行保存的话，我们可以选择不保存文件到Trash目录下：

hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326

　　

Http方式访问HDFS

在使用Http访问HDFS之前，我们需要打开webhdfs，可以通过如下的配置打开：

<!--打开NameNode和DataNode的 WebHDFS (REST API)-->
<!-- 这个参数默认是ture，即默认WebHDFS是打开的-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
 

　　

 

然后，我们可以在Linux上使用命令curl通过http url的方式访问HDFS文件，比如：

curl -i  "http://master:50070/webhdfs/v1/user/hadoop-twq/cmd/error.txt?op=LISTSTATUS"

　　

 

返回的是一个Json，如下：

HTTP/1.1200 OK
Cache-Control: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Content-Type: application/json
Transfer-Encoding: chunked
Server:Jetty(6.1.26)
 
{
"FileStatuses":
{"FileStatus":
[
{
"accessTime":1543310078655,  ## 表示访问时间
"blockSize":134217728,       ## 表示设置的数据块的大小(这里是128M)
"childrenNum":0,             ## 表示含有多少个子文件
"fileId":36514,              ## 唯一ID
"group":"supergroup",        ## 文件所属组
"length":0,                  ## 文件的大小
"modificationTime":1543310078685,     ## 文件修改时间
"owner":"hadoop-twq",        ## 文件所有者
"pathSuffix":"",             ## 路径后缀
"permission":"644",          ## 文件权限
"replication":1,             ## 文件对应的数据块的备份数
"storagePolicy":0,           ## 存储策略
"type":"FILE"                ## 类型，这里是文件
}
]
}
}