不多说，直接上代码。 代码 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs7; import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;impor ...
mapreduce合并小文件成sequencefile http://blog.csdn.net/xiao_jun_0820/article/details/42747537
分类：
其他好文 时间：
2015-09-20 00:22:14
阅读次数：
154
如何合并小文件，减少map数？假设一个SQL任务：Selectcount(1)frompopt_tbaccountcopy_meswherept=‘2012-07-04’;该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04共有194个文件，其中很多是远远小于128m的小文件，总大小9G，正常..
分类：
其他好文 时间：
2015-05-05 16:48:39
阅读次数：
123
如何合并小文件，减少map数？
假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;
该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多是远...
分类：
其他好文 时间：
2015-05-05 16:36:33
阅读次数：
248
1.问题分析
用fsck命令统计 查看HDFS上在某一天日志的大小，分块情况以及平均的块大小，即
分析问题的存在性：从表中可以看出，每天日志量的分块情况：总共大概有268左右的块数，平均块大小为36MB左右，远远不足128MB，这潜在的说明了一个问题。日志产生了很多小文件，大多数都不足128M，严重影响集群的扩展性和性能：首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大...
分类：
其他好文 时间：
2015-01-13 21:44:23
阅读次数：
330
1.Hive中合并小文件的map only JOB，此JOB只会有一个或很少的几个map。2.输入文件格式为压缩的Text File，因为压缩的文本格式不知道如何拆分，所以也只能用一个map
分类：
其他好文 时间：
2014-12-16 18:52:50
阅读次数：
180
