码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop源代码分析(三二)

时间:2015-06-24 12:56:23      阅读:136      评论:0      收藏:0      [点我收藏+]

标签:hadoop   超人学院   源代码   

搞定ClientProtocol,接下来是DatanodeProtocol部分。接口如下:

技术分享 


publicDatanodeRegistration register(DatanodeRegistration nodeReg
                                       ) throwsIOException
用于DataNode向NameNode登记。输入和输出参数都是DatanodeRegistration,类图如下:

技术分享 

前面讨论DataNode的时候,我们已经讲过了DataNode的注册过程,我们来看NameNode的过程。下面是主要步骤:
l          检查该DataNode是否能接入到NameNode;
l          准备应答,更新请求的DatanodeID;
l          从datanodeMap(保存了StorageID àDatanodeDescriptor的映射,用于保证DataNode使用的Storage的一致性)得到对应的DatanodeDescriptor,为nodeS;
l          从Host2NodesMap(主机名到DatanodeDescriptor数组的映射)中获取DatanodeDescriptor,为nodeN;
l          如果nodeN!=null同时nodeS!=nodeN(后面的条件表明表明DataNode上使用的Storage发生变化),那么我们需要先在系统中删除nodeN(removeDatanode,下面再讨论),并在Host2NodesMap中删除nodeN;
l          如果nodeS存在,表明前面已经注册过,则:
1.      更新网络拓扑(保存在NetworkTopology),首先在NetworkTopology中删除nodeS,然后跟新nodeS的相关信息,调用resolveNetworkLocation,获得nodeS的位置,并从新加到NetworkTopology里;
2.      更新心跳信息(register也是心跳);
l          如果nodeS不存在,表明这是一个新注册的DataNode,执行
1.      如果注册信息的storageID为空,表明这是一个全新的DataNode,分配storageID;
2.      创建DatanodeDescriptor,调用resolveNetworkLocation,获得位置信息;
3.      调用unprotectedAddDatanode(后面分析)添加节点;
4.      添加节点到NetworkTopology中;
5.      添加到心跳数组中。
上面的过程,我们遗留了两个方法没分析,removeDatanode的流程如下:
l          更新系统的状态,包括capacityTotal,capacityUsed,capacityRemaining和totalLoad;
l          从心跳数组中删除节点,并标记节点isAlive属性为false;
l          从BlocksMap中删除这个节点上的所有block,用了(三零)分析到的removeStoredBlock方法;
l          调用unprotectedAddDatanode;
l          从NetworkTopology中删除节点信息。

unprotectedAddDatanode很简单,它只是更新了Host2NodesMap的信息。

更多精彩内容请关注:http://www.superwu.cn

关注超人学院微信二维码:技术分享

Hadoop源代码分析(三二)

标签:hadoop   超人学院   源代码   

原文地址:http://blog.csdn.net/crxy2014/article/details/46620147

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!