标签：

最顶级是InputFormat抽象类 ，该类定义了两个方法，方法getSplits是负责切分输入文件(们)的，把很多的输入文件(们)切分成很多的输入分片，切分规则就是在这里定义的，每个InputSplit对应一个Mapper任务。方法createRecordReader是负责把getSplits生成的很多InputSplit解析成键值对的。InputFormat中的方法getSplits负责拆分输入文件的，方法createRecordReader负责把拆分的数据解析成键值对。这是从两个不同的角度设定的方法，职责不同，功能不同。方法getSplits的返回值是InputSplit的集合。抽象类InputSplit表示每个Mapper任务将要处理的数据，是二进制的，

根据要处理的数据类型不同，InputSplit也有不同的含义，因此会有很多子类。

方法createRecordReader的返回值是一个可以处理键值对的RecordReader。抽象类RecordReader是就是把InputSplit的数据解析成键值对的，提供了解析规则和读取键值对的方法，

根据数据不同，解析规则也会不同，因此会有很多子类。

根据解析的数据不同，InputFormat的子类有DBInputFormat、DelegatingInputFormat和FileInputFormat。其中，DBInputFormat是专门用于加载数据库中的数据的，如mysql、oracle等；FileInputFormat是专门用于处理文件中的数据的；DelegatingInputFormat是把其他各种InputFormat组成到一起的委托接口。从功能可以看出，FileInputFormat是用途最广的，其次是DBInputFormat，再次是DelegatingInputFormat。

FileInputFormat

该类是专门处理文件的，该类提供了如何计算输入分片(InputSplit)的方法。每个InputSplit对应一个运行的Mapper任务，因此InputSplit的数量决定了运行的Mapper任务数量，InputSplit的大小决定了每个Mapper任务处理数据量的大小。在这里，使用的是InputSplit的子类FileSplit。类FileSplit是专门用于处理输入文件的，会按照固定的字节数对每个输入文件进行拆分，拆分成很多的FileSplit。

根据文件的不同，对FileSplit解析成键值对的方式也有很多。因此，FileInputFormat会有很多的子类，包括TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineFileInputFormat和SequenceFileInputFormat。

输入格式化类的作用有两个：

• 设定Mapper任务数量——通过getSplits方法实现；
• 把输入文件的内容解析成键值对，供map函数调用——通过createRecordReader方法实现；

FileInputFormat

标签：

原文地址：http://www.cnblogs.com/mlj5288/p/4449732.html