码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop集群优化

时间:2015-04-14 11:21:10      阅读:277      评论:0      收藏:0      [点我收藏+]

标签:hadoop   集群   优化   

Hadoop

namenode vs RM

  1. 小集群:namenode和RM可以部署在一个节点上
  2. 大集群:因为namenode和RM的内存需求量较大,应将他们分开部署。如果分开部署的话,要保证slaves文件的内容一样,这样就可以让NM和DN部署在一个节点上

端口

A port number of 0 instructs the server to start on a free port, but this is generally discouraged because it is incompatible with setting cluster-wide firewall policies.

HDFS

ECC memory

ECC memory is strongly recommended, as several Hadoop users have reported seeing many checksum errors when using non-ECC memory on Hadoop clusters.

dfs.name.dir

配置成多个路径,FSImage和EditLog会同时写入多个路径,方便以后恢复用

RAID

不适合datanode,如果配置成RAID的话,就不需要副本了:

  1. 因为hdfs的冗余已经很好了
  2. 速度比JBOD (Just a Bunch Of Disks)慢,RAID的速度由最慢的那块磁盘决定,而JBOD的各块磁盘相互没有影响
  3. 如果JBOD中一块磁盘损坏的话,HDFS还能正常使用;但如果RAID的一块磁盘坏了的话,上面的整个数据就损坏了

适合namenode:用于保护元数据信息

Hadoop集群优化

标签:hadoop   集群   优化   

原文地址:http://blog.csdn.net/jiewuyou/article/details/45037353

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!