码迷,mamicode.com
首页 > 其他好文 > 详细

CDH4安装部署系列之三-服务器规划

时间:2014-09-17 02:27:32      阅读:263      评论:0      收藏:0      [点我收藏+]

标签:cdh4安装节点规划

1             Namenode规划说明:

由于Namenode非常重要,一旦丢失数据或停止工作,整个集群就不能恢复了,所以一般来说,Namenode单独安装在一台服务器上,且两个Namenode分开部署。由于ZKFC负责监控Namenode的状态信息,所以每一台Namenode上必须安装ZKFC

 

2             Journalnode规划说明:

由于Journalnode对系统资源消耗较少,一般Journalnode可以与别的服务搭建在一起。Journalnode必须至少3个节点。当然可以运行更多,最好是部署奇数个,偶数个不是不可以,但是Journalnode集群是以宕机个数过半才会让整个集群宕机的,所以奇数个更佳。3579个等等。部署的越多,可靠性就越高。

 

3             Datanode规划说明:

NamenodeJournalnode节点外,集群中的所有其他节点安装datanode。由于Datanode负责数据库的存储和读写,因此Datanode越多,集群的效率越高

 

4             YarnResourceManager+NodeManager+MapReduce)规划说明:

ResourceManager

每个Cluster拥有一个Resource ManagerResourceManager负责作业与资源的调度。接收JobSubmitter提交的作业,按照作业的上下文(Context)信息,以及从NodeManager收集来的状态信息,启动调度过程,分配一个Container作为App Mstr

因此ResourceManager的任务相当繁重,需要消耗大量的系统资源,一般建议ResourceManager单独部署在一台服务器上面

 

NodeManagerMapReduce

负责Container状态的维护,并向RM保持心跳。每个Slave Node则运行一个NodeManager,来监控和管理该节点上的资源使用情况。在运行Job的时候,和MRv1相似,每个Slave Node运行Map/或者Reduce Task。对应每个Job(application),有一个Application Master(运行在某个Slave Node),负责管理application的生命周期,向resource manager申请资源,以及监控task的状态等(譬如重启出错任务)

因此每个Datanode节点上运行一个NodeManager和一个MapReduce

 

5             Zookeeper规划说明:

考虑到Zookeeper集群的需要的资源不是很多,一般都建议将ZK节点和别的服务部署在同一个机器上。Zookeeper必须至少3个节点。当然可以运行更多,最好是部署奇数个,偶数个不是不可以的,但是Zookeeper集群是以宕机个数过半才会让整个集群宕机的,所以奇数个更佳。如3579个等等。部署的越多,可靠性就越高。


本文出自 “燕子覃的测试专栏” 博客,请务必保留此出处http://bobbleyan.blog.51cto.com/9111528/1553520

CDH4安装部署系列之三-服务器规划

标签:cdh4安装节点规划

原文地址:http://bobbleyan.blog.51cto.com/9111528/1553520

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!