MapReduce(十六): 写数据到HDFS的源码分析

标签：mapreduce   hdfs   源代码   buffer   缓存   

1)   LineRecordWriter负责把Key，Value的形式把数据写入到DFSOutputStream

2)   DFSOutputStream负责把LineRecordWriter写入的数据发送到Datanode中。对LineRecordWriter写入的数据首先按照一个个chunk分割，然后打包成Packet发送给datanode，datanode负责对接收的数据备份到其它datanode上。发送数据时，发送线程和结果接收线程分开，对发送队列的数据完成发送后，转移的结果接收队列中，等待datanode对数据保存，备份是否正确的应答，如果datanode保存失败，则对datanode，包括备份datanode的数据恢复到失败的前一刻，然后继续向datanode发送数据保存。

把LineRecordWriter中写入的数据先放到缓存中： 

Buffer满了后，就把数据按照chunk封装到packet中，packet写满后就把packet放到发送队列中，等待发送线程发送给datanode

3)   DataStreamer负责把队列中放入packet的数据发送到datanode上

4)   ReponseProcessor负责对发送的packet数据接收datanode处理应答

5)   Block传输写协议

MapReduce(十六): 写数据到HDFS的源码分析

标签：mapreduce   hdfs   源代码   buffer   缓存   

原文地址：http://blog.csdn.net/dickens/article/details/39010737