hadoop网络拓扑分析：NetworkTopology和DNSToSwitchMapping

标签：

　　hadoop网络拓扑结构在整个系统中具有很重要的作用，它会影响DataNode的启动(注册)、MapTask的分配等等。了解网络拓扑对了解整个hadoop的运行会有很大帮助。

　　首先通过下面两个图来了解与网络拓扑有关的类。

　　NetworkTopology用来表示hadoop集群的网络拓扑结构。hadoop将整个网络拓扑组织成树的结构(可以参考这篇文章https://issues.apache.org/jira/secure/attachment/12345251/Rack_aware_HDFS_proposal.pdf)，其中Node接口代表树种的结点，既可以是树的内部结点(如data center，rack)，也可以是叶子结点(就是host)；而NodeBase实现了Node；NetworkTopology.InnerNode则代表树的内部结点。当DataNode启动的时候以DatanodeRegistration的形式，向NameNode来注册本结点的信息，使得NameNode通过网络拓扑确定该DataNode在网络拓扑中的位置。

　　DNSToSwitchMapping用来把集群中的node转换成对应的网络位置。

hadoop网络拓扑分析：NetworkTopology和DNSToSwitchMapping

标签：

原文地址：http://www.cnblogs.com/gwgyk/p/4525463.html