Hadoop_28_MapReduce_自定义 inputFormat

标签：合成   采集   dfs   map   合并文件   数据   man   inpu   效率   

1. 自定义inputFormat

1.1.需求:

　　无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件，此时就需要有相应解决方案;

1.2.分析:　

　　小文件的优化无非以下几种方式：

　　1、在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS；

　　2、在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并；

　　3、在mapreduce处理时，可采用combineInputFormat提高效率；

1.3.实现:　　　

　　本节实现的是上述第二种方式，程序的核心机制：

　　自定义一个InputFormat，改写RecordReader，实现一次读取一个完整文件封装为KV，在输出时使用SequenceFileOutPutFormat

输出合并文件

Hadoop_28_MapReduce_自定义 inputFormat

标签：合成   采集   dfs   map   合并文件   数据   man   inpu   效率   

原文地址：https://www.cnblogs.com/yaboya/p/9259671.html