标签：hadoop分布式部署
Hadoop Cluster中的角色：HDFS：
NameNode，NN
SecondaryNameNode，SNN
DataNode，DN
YARN：
ResourceManager
NodeManager
生产环境中hadoop分布式部署注意事项：
HDFS集群：
NameNode和Secondary应该分开部署，避免NameNode和SecondaryNode同时出现故障，而无法恢复
DataNode数量至少为3个，因为数据至少要保存3份
YARN集群：
ResourceManager部署在独立的节点上
NodeManager运行在DataNode上
Hadoop集群架构如下图所示：
我在测试环境中进行分布式部署时，将NameNode、SecondaryNameNode和ResourceManager三个角色部署在同一服务器Master节点上，
三个从节点部署DataNode和NodeManager
1、配置hosts文件
172.16.100.1 node1.hadooptest.com node1 master 172.16.100.2 node2.hadooptest.com node2 172.16.100.3 node3.hadooptest.com node3 172.16.100.4 node4.hadooptest.com node4
如果需要通过master节点启动或者停止整个集群，还需要在master节点上配置用于运行服务的用户(如hdfs和yarn)能以密钥的方式通过ssh远程连接到各个从节点
配置master节点
需要修改core-site.xml和yarm-site.xml配置文件中的“localhost”主机名称或地址为master节点的主机名称或者地址，并在slaves文件中指明各从节点的主机名称或地址即可。其各自的配置如下所示：
未完。。。
标签：hadoop分布式部署
原文地址：http://blog.51cto.com/zengestudy/2091300
