Hadoop之文件系统Shell

get

使用: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

拷贝文件到本地系统，使用通过“-ignorecrc”选项校验失败的文件，使用“-crc”选项，则可以拷贝文件和CRC信息。

例子:

• hadoop fs -get /user/hadoop/file localfile
• hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

getfacl

使用: hadoop fs -getfacl [-R] <path>

展示文件或目录的ACL（访问控制列表）信息。如果目录有默认的ACL，那么也会展示默认的ACL。

参数:

• -R: 递归的获取所有文件和目录的ACL
• path: 文件或目录列表

例子:

• hadoop fs -getfacl /file
• hadoop fs -getfacl -R /dir

setfacl

使用: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]

设置文件和目录的控制列表（ACLs）。

参数:

• -b: 删除所有扩展的acl信息，除了基本的acl信息(所有者，群组，其他）将被保留，以保证权限的兼容性；
• -k: 删除默认的ACL
• -R: 对所有文件或目录递归的应用这些操作。
• -m: 修改ACL，新的条目加入到ACL，旧的规则会被保留；
• -x: 删除指定的ACL条目。其他ACL条目保留。
• --set: 完全取代现在的ACL规则，替换成新的ACL规则。新的ACL规则中必须包含用户、分组以及其他保证兼容性的权限信息；
• acl_spec: 逗号分隔的ACL列表
• path: 需要修改的文件或目录路径。

• hadoop fs -setfacl -m user:hadoop:rw- /file
• hadoop fs -setfacl -x user:hadoop /file
• hadoop fs -setfacl -b /file
• hadoop fs -setfacl -k /dir
• hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
• hadoop fs -setfacl -R -m user:hadoop:r-x /dir
• hadoop fs -setfacl -m default:user:hadoop:r-x /dir

getfattr

（官方文档有，Hadoop2.4.1不存在这个命令）

使用: hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

显示文件或目录的扩展属性的name和value（如果存在的话）。

参数:

• -R: 递归列出目录中所有文件和目录的属性。
• -n name: 转储指定名称的扩展属性。
• -d: 转储关联路径的所有扩展属性
• -e encoding: 对检索出来的值进行编码。可用的编码方式（encoding）包括text、hex和base64。使用text的话，检索出的值已双引号括起来的字符串形式展现；使用hex或者base64的话，检索出的值分别以0x或者0s打头的编码形式展现。
• path: 文件和目录。

例子:

• hadoop fs -getfattr -d /file
• hadoop fs -getfattr -R -n user.myAttr /dir

返回0的成功和非零则错误。

setfattr

（官方文档有，Hadoop2.4.1不存在这个命令）

使用: hadoop fs -setfattr -n name [-v value] | -x name <path>

为文件或者目录设置一个扩展属性：name和value。

参数:

• -b: 删除所有扩展的acl信息，基本的acl信息(所有者，群组，其他）将被保留，以保证权限的兼容性；
  
• -n name: 扩展的属性名称
  
• -v value: 扩展的属性值. 对于值有三种不同的编码方式。如果参数是以双引号括起来的，那么这个值是字符串。如果参数是以0x或0X打头的，那么它是16进制的数字。如果参数是以0s或0S打头的，那么它的编码方式是base64。
• -x name: 删除扩展的属性
• path: 文件或者目录

例子:

• hadoop fs -setfattr -n user.myAttr -v myValue /file
• hadoop fs -setfattr -n user.noValue /file
• hadoop fs -setfattr -x user.myAttr /file

getmerge

使用: hadoop fs -getmerge <src> <localdst> [addnl]

以一个源目录和一个本地目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于在每个文件结尾添加一个换行符。

//将HDFS的/fish文件夹的文件，合并到本地/home/4.txt文件。
hadoop fs -getmerge /fish fish:///home/4.txt

help

使用: hadoop fs -help

返回使用说明

ls

使用: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>

参数:

• -d: 像普通文件一样列出来。
  
• -h: 用更直观的方式显示文件大小 (例如 64.0m 替代 67108864).
• -R: 递归子目录列表。
• -t: 按修改时间排序（最近一次排第一）
• -S: 按输出的文件大小排序
• -r: 反向排序
• -u: 使用访问时间而不是显示和排序的时间。

ls命令会返回一下文件的状态：

permissions（权限） number_of_replicas（副本数量） userid（用户ID） groupid（分组ID） filesize（文件大小） modification_date（修改日期） modification_time（修改时间） filename（文件名）

对于目录，ls会返回目录中的第一级内容，显示格式如下

permissions（权限） userid（用户ID） groupid（分组ID） modification_date（修改日期） modification_time（修改时间） dirname（目录名称）

目录中的文件默认以文件名称排序

例子:

• hadoop fs -ls /user/hadoop/file1

lsr

使用: hadoop fs -lsr <args>

ls命令的递归版本

注意: 这个耳鸣了是过期的，可以用hadoop fs -ls -R

mkdir

使用: hadoop fs -mkdir [-p] <paths>

以URI作为路径，创建目录。

参数:

• -p 和Linux的mkdir -p类似，如果父路径不存在，会创建父路径。
  

例子:

[root@nn1 bin]# hadoop fs -mkdir file:///home/a1 file:///home/a2
[root@nn1 bin]# ll /home/
total 20
drwxr-xr-x   2 root    root   4096 Aug  8 09:45 a1
drwxr-xr-x   2 root    root   4096 Aug  8 09:45 a2

[root@nn1 bin]# hadoop fs -mkdir /home/a1 /home/a2
[root@nn1 bin]# hadoop fs -ls /home/
Found 2 items
drwxr-xr-x   - root          supergroup          0 2015-08-08 09:47 /home/a1
drwxr-xr-x   - root          supergroup          0 2015-08-08 09:47 /home/a2

moveFromLocal

使用: hadoop fs -moveFromLocal <localsrc> <dst>

 除了本地路径在被拷贝后会被删除。其他类似于put命令

moveToLocal

目前为止还未实现。

mv

使用: hadoop fs -mv URI [URI ...] <dest>

将文件从源路径移动到目标路径(文件和目录都可以移动)，这个命令允许多个源，但是目标路径必须是一个目录，跨文件系统的移动文件是不允许的。

例子:

• hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
• hadoop fs -mv hdfs://nn.example.com/file1 hdfs://nn.example.com/file2 hdfs://nn.example.com/file3 hdfs://nn.example.com/dir1

put

使用: hadoop fs -put <localsrc> ... <dst>

从本地文件系统拷贝单个源，或者多个源到目标文件系统，也可以从标准输入写入到目标文件系统。

• hadoop fs -put localfile /user/hadoop/hadoopfile
• hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
• hadoop fs -put localfile hdfs://nn.example.com/hadoop/hadoopfile
• hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

rm

使用: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

删除参数指定的文件。

参数:

• -f   强行删除。执行删除时显示对要删除的文件的分析信息，当文件不存在的时候也不会调整返回信息；
• -R 递归的删除目录下面的所有内容
  
• -r   和-R一样
• -skipTrash 该参数会忽略回收站，如果启用，则彻底的删除，目录规模超大的时候这个选项是很有用的。如果没有用这个参数，删除的文件会在回收站中找到。

例子:

• hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

rmdir

使用: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

删除目录

参数:

• --ignore-fail-on-non-empty: 当使用通配符的时候，如果一个目录还包含文件，将不会删除失败。
  

例子:

• hadoop fs -rmdir /user/hadoop/emptydir

rmr

递归删除

注意:这个命令是过期的，可以使用fs -rm -r命令代替。

setrep

使用: hadoop fs -setrep [-R] [-w] <numReplicas> <path>

改变某个文件的复制因子，如果path是一个路径，那么这个命令就递归的修改所有文件的复制因子

参数：

• -w 使用这个参数，命令会等待复制因子修改完成，这可能需要很长时间。
  
• -R 向后兼容，没有实际效果。

例子:

[root@nn1 bin]# hadoop fs -stat "%b %F %u:%g %o %y %n %r" /fish/1.txt
14 regular file root:supergroup 134217728 2015-08-07 07:50:15 1.txt 3  //开始的副本数是3
[root@nn1 bin]# hadoop fs -setrep -w 4 /fish/1.txt  //修改副本数为4
Replication 4 set: /fish/1.txt
Waiting for /fish/1.txt ....................................................................................................................................................................................................................................................................................................................................................setrep: `/fish/1.txt': No such file or directory
[root@nn1 bin]# hadoop fs -stat "%b %F %u:%g %o %y %n %r" /fish/1.txt<pre name="code" class="java">14 regular file root:supergroup 134217728 2015-08-07 07:50:15 1.txt 4  //结束的副本数为4

stat

使用: hadoop fs -stat [format] <path> ...

根据文件/目录打印出指定格式的统计信息。接受的格式：所有块文件大小（%b）,类型(%F),所属分组（%g），名称（%n），块大小（%o），副本数量（%r），所属用户名（%u），和修改时间（%y，%Y），%y展示“yyyy-MM-dd HH:mm:ss”格式的UTC时间，%Y则显示1970年到现在的毫秒数。如果没有指定日期格式，默认则为%y

例子：

• hadoop fs -stat "%F %u:%g %b %y %n" /file

返回值: 返回0为成功，-1则失败

tail

使用: hadoop fs -tail [-f] URI

标准输出中，显示文件末尾的1K的内容

•  -f 文件增长时，输出真假的内容。

例子：

• hadoop fs -tail pathname

返回值: 返回0为成功，-1则失败

test

使用: hadoop fs -test -[defsz] URI

• -d: 如果是路径是目录，则返回0，
• -e: 如果路径存在，则返回0.
• -f: 如果路径是文件，则返回0.
• -s: 如果路径不为空，返回0
• -z: 如果文件长度为0，则返回0

例子:

• hadoop fs -test -e filename

text

使用： hadoop fs -text <src>

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

touchz

使用: hadoop fs -touchz URI [URI ...]

创建一个长度为0的文件。

例子:

• hadoop fs -touchz pathname

返回值: 返回0为成功，-1则失败

usage

Usage: hadoop fs -usage command

返回单个命令的帮助。

例子：hadoop fs -usage du