解决Hadoop一些小问题(整理版)

时间：2014-09-24 20:35:57 阅读：143 评论：0 收藏：0 [点我收藏+]

1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间

2 解决Hadoop小文件问题？
数据块的默认大小是64M，如果一个文件的大小小于64M，那么它就属于Hadoop的小文件。
这样会浪费空间，所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。

3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库，使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
最好下载源码，一步一步编译源代码，得到最终编译后的文件。