HDFS写文件解析

标签：hadoop   hdfs   namenode   

1. client通过DistributedFileSystem对象调用create()方法创建文件，实际上通过RPC调用了NameNode的方法。
2. NameNode收到client的请求之后，执行各种检查（1.确认要传文件目前在HDFS上不存在，2.client具有写的权限）如果通过则会为新文件创建一条记录,并返回一个FSDataOutputStream对象，该对象负责DataNode和NameNode通讯。若检查未通过则抛出IOException。
3. 客户端拿到流后，进行文件写入。stream会将数据分成一个个数据包（packet）并写入内部队列，称为数据队列（data queue）。DataStreamer处理数据队列，它的责任是根据DataNode列表来要求NameNode分配适合的新块来存储副本。这一组DataNode构成一个管道（Pipeline）--- 如果存在多个DataNode，那么包会在DataNode之间进行流式转发。 一直到最后一个节点
4. DFSOutputStream也维护着一个确认队列（ack queue）。收到管道中所有DataNode确认信息后，该数据包才会从确认队列中删除。
5. 所有的数据块都写完以后，close流。并且等待NameNode返回确认信息。

HDFS写文件解析

标签：hadoop   hdfs   namenode   

原文地址：http://blog.csdn.net/u010811257/article/details/46336589