码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的集群和优化

时间:2016-05-11 11:09:05      阅读:102      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop的集群和优化

Hadoop集群规模小到几个节点就可以组件一个集群,大到由几千个节点组成的超大集群。

在安装Hadoop集群时,把要安装的软件解压到集群内的所有机器上,软件的安装目录也要一致。
集群里所有的HADOOP_HOME目录代表安装的根路径,集群中机器要求HADOOP_HOME路径一致。

如果集群中机器环境一致,可以采用这种方法统一安装和配置集群机器,
先在一台机器上配置好,然后把配置好的软件的整个文件夹复制到集群中其他机器的目录中。

Hadoop的性能优化

    分布式集群中通常包含了大量的机器,可能分布到不同的交换机网络或不同的机架上,
    由多个机架或交换机网口共同组成了一个分布式集群。

    位于同一机架内的不同机器,它们之间的网络传输速度要高于跨越了不同机架的机器之间的网络传输速度;
    位于不同机架内的机器,它们之间的网络传输速度也会因上层交换机的网络带宽而受到限制。

    1、Hadoop集群

    2、采用什么方式告知Hadoop NameNode节点slaves对应哪个rack

    3、启动Hadoop机架感知功能

    4、脚本实例
   
Hadoop配置机架感知信息

Hadoop的集群和优化

标签:

原文地址:http://www.cnblogs.com/tuhooo/p/5481035.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!