HDFS读写分析

标签：pip   puts   完成   分布式文件系   ack   机制   过程   bsp   chunk   

写流程：

正常：

1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法

namenode内完成几项判断

返回客户端

2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock

返回列表 然后开始写

3.chunk  package  data queue  

ack queue

4.检验

异常分析：网络中断

namenode 

1.关闭pipline

2.新的id,version

3.心跳机制 给命令

4.删除老的数据

5.构建新的pipline

HDFS读写分析

标签：pip   puts   完成   分布式文件系   ack   机制   过程   bsp   chunk   

原文地址：https://www.cnblogs.com/terrycode/p/12155964.html