标签：ima   必须   分布   情况   本地存储   space   方案   相互   技术   

联邦Hadoop

是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切分，因此，每个DataNode需要注册到NameNode。

HDFS的底层存储是可以水平拓展的，但namespace不可以。当前的namespace只能放在单个NamwNode上，而NameNode存储了这个分布式文件系统的元数据信息，限制了集群中的数据块，文件和目录的数目。

1. 多个NameNode共用一个集群里的DataNode上的资源，而每个NameNode的哦可以单独对外提供服务。
2. 每个NameNode都会定义一个存储池，有单独的id，每个DataNode都为所有存储池提供存储。
3. DataNode会按照存储池id向其对应的NameNode汇报块信息，也会会ibao所有NameNode本地存储可用资源情况。
4. 如果要客户端方便的访问若干个NameNode的资源，可以使用客户端挂载表，把不同的目录映射到不同的NameNode，NameNode上必须存在相应的目录。

Hadoop之联邦HDFS

标签：ima   必须   分布   情况   本地存储   space   方案   相互   技术   

原文地址：https://www.cnblogs.com/we9999/p/12407363.html