码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce(十五): 从HDFS读取文件的源码分析

时间:2014-09-02 21:29:55      阅读:281      评论:0      收藏:0      [点我收藏+]

标签:mapreduce   源代码   hdfs   

以Map任务读取文本数据为例:

bubuko.com,布布扣

1)   LineRecordReader负责对文件分割的定位,以及对读取每一行内容的封装供用户Map任务使用。每次在定位在文件中不为0的位置时,多读取一行,因为前一个处理该位置之前的数据时,会完整把该一行已经读取并处理。

 bubuko.com,布布扣

2)   LineReader负责对所要访问文件输入流的数据进行每一行读取,只实现对每一行读取的逻辑。

bubuko.com,布布扣

3)   DFSDataInputStream封装了DFSInputStream的实现,直接调用DFSInputStream接口完成。

bubuko.com,布布扣

4)   DFSInputStream,负责对所访问文件block的管理,提供定位block位置和提供block数据流读取的接口。

定位到所读取的位置在哪个block中后,打开与该block的socket连接,然后从封装socket的RemoteBlockReader中读取数据:

bubuko.com,布布扣

    根据定位到的block在哪个主机,打开与该主机的socket连接:

bubuko.com,布布扣

获取block信息后,开始获取数据流:

bubuko.com,布布扣

5)   RemoteBlockReader,对打开socket获取DataNode输入流DataInputStream进行封装,开始读取文件数据,文件数据是DataNode按照每个chunk封装一次传输给客户端,客户端给每个chunk检查数据完整性。

提供给上层读取socket中数据流接口:

bubuko.com,布布扣

开始从一个个chunk中读取数据:

 bubuko.com,布布扣

每个chunk的读取:

bubuko.com,布布扣

6)   Block传输读协议

先是客户端打开连接后,向DataNode输入block的信息:

bubuko.com,布布扣

然后DataNode按照一个个chunk向DFSClient发送数据流供读,chunk的数据格式,按照数据读取先后顺序罗列:

bubuko.com,布布扣

MapReduce(十五): 从HDFS读取文件的源码分析

标签:mapreduce   源代码   hdfs   

原文地址:http://blog.csdn.net/dickens/article/details/39010333

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!