HDFS shell

标签：

bin/hdfs -help

bin/hdfs dfs -mkdir -p /yfq/test/

bin/hdfs dfs -put /etc/profile /yfq/test/profile 上传文件

bin/hdfs dfs -put /etc/* /yfq/test/上传文件夹

bin/hdfs dfs -cat /yfq/test/profile查看文件

bin/hdfs dfs -get /yfq/test/profile . 下载profile文件到当前目录

bin/hdfs dfs -rm -r /yfq/test/ 删除文件

被删除的文件默认放入回收站，过一段时间HDFS会清空回收站，这个时间可以设置，默认是0分钟

集中式缓存管理，将常用的文件放入内存

bin/hdfs cacheadmin -listpool 查看缓存池

bin/hdfs cacheadmin -laddpool test 添加名为test的缓存池

bin/hdfs cacheadmin -addDirective -path /yfq/test/ -pool test 将文件放入缓存池

bin/hdfs cacheadim -listDirective -pool test 查看某个缓存池中的文件

hdfs不适合存储小文件

hadoop会将小文件归档，将小文件合并为一个大文件

bin/hdfs dfs -mkdir -p /conf 创建归档文件夹

bin/hadoop archive -archiveName conf.har -p /yfq/test -r 1(备份数)  /conf

生成过程是个map/reduce任务

bin/hdfs dfs -ls har:///conf/conf.har查看压缩文件

bin/hdfs dfs -cp har:///conf/conf.har /har 

将文件加压到har中

HDFS shell

标签：

原文地址：http://www.cnblogs.com/yuanfuqiang/p/5902887.html