码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop如何修改HDFS文件存储块大小

时间:2017-04-10 12:44:20      阅读:190      评论:0      收藏:0      [点我收藏+]

标签:span   http   ges   ora   块大小   site   image   同步   nod   

一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。
1. 查看当前 HDFS文件块大小
我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小。
1.1 终端命令方式查看
[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
51200
单位为B(字节)
1.2  或页面方式查看
打开haddop datanode节点的hdfs监控页面:
http://hadoop01:50070
技术分享技术分享

如下所示:

技术分享

 


二、永久修改
这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。
如下:

修改后参数

技术分享

把配置同步到其它节点,并重启hdfs。
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:

技术分享

重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz

技术分享

Hadoop如何修改HDFS文件存储块大小

标签:span   http   ges   ora   块大小   site   image   同步   nod   

原文地址:http://www.cnblogs.com/dadadechengzi/p/6688303.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!