HDFS读文件解析

时间：2015-04-14 11:12:18 阅读：121 评论：0 收藏：0 [点我收藏+]

标签：hdfs

下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。

1.  client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。
2.  DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck，NameNode返回block所在的DataNode（包括副本）的地址。DistributedFileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。
3.  client调用FSDataInputStream的read方法。
4.  DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode，read block数据，传回给client。
5.  当第一个block读完，DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。
6.  当client读结束，调用FSDataInputStream的close方法。

在读的过程中，如果client和一个datanode通讯时出错，他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上，NameNode只负责block的位置信息请求。

HDFS读文件解析

标签：hdfs

原文地址：http://blog.csdn.net/crxy2016/article/details/45038659

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行