标签：cp命令 server 脚本 sudo 修改文件 author ica AC cluster
上一篇文章介绍了如何搭建Hadoop伪分布式集群，本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供 一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。
使用两个节点作为集群环境：一个作为Master节点，另一个作为Slave节点
（2）在Master节点上配置hadoop用户、Java环境及安装SSH server；
（3）在 Master 节点上安装 Hadoop，完成配置；
（4）其余机器作为Slave节点，同理，在 Slave 节点上配置 hadoop 用户、Java环境、安装 SSH Server；
（5）将 Master 节点上的Hadoop安装目录内容复制到其他 Slave 节点上；
（6）在 Master 节点上开启 Hadoop；
以上步骤中，配置hadoop用户、Java环境，安装SSH server，安装Hadoop的步骤在《Hadoop单机/伪分布式集群搭建（新手向）》 一文中做了比较详细的介绍，大家可以参照此文中的步骤来：http://ks.netease.com/blog?id=8333。
集群所有的节点都需要位于同一个局域网，因此在完成上述步骤的前4步骤后，先进行以下的网络配置，实现节点间的互连。
本文使用的是VMware虚拟机安装的系统，所以只需要更改网络连接方式为桥接（Bridge）模式，便能实现节点互连。如图：
配置完成后可以在各个节点上查看节点的ip，Linux中查看节点IP地址的命令为：ifconfig，如下图所示，Master节点的ip为10.240.193.67：
网络配置完成后，便可进行hadoop分布式集群的配置了。
为了能够方便的区分Master和Slave，我们可以修改节点的主机名用以区分。在CentOS7中，我们在Master节点上执行以下命令来修改 主机名:
然后，在Master和Slave节点上都执行如下命令修改IP映射，添加所有节点的IP映射：
修改完成后需要重启节点，使得以上配置生效。可以在各个节点上ping其他节点的主机名，若能ping通说明配置成功。
分布式集群搭建需要Master节点能够无密码SSH登陆至各个Slave节点上。因此，我们需要生成Master节点的公钥，并将Master公钥 在Slave节点中加入授权。步骤如下：
（1）首先生成Master节点的公钥，执行如下命令：
cd ~/.ssh --若无该目录，先执行ssh localhost
rm ./id_rsa* --若已生成过公钥，则删除原有的公钥
（2）Master节点需能无密码SSH登陆本机，在Master节点上执行命令：
cat ./id_rsa.pub >> ./authorized_keys
chmod 600 ./authorized_keys
若不执行修改权限，会出现以下问题，仍无法实现无密码SSH登陆本机。
完成后，执行ssh Master验证是否可以无密码SSH登陆本机，首次登陆需要输入yes，输入exit即可退出登陆。
上述scp命令远程将Master节点的公钥拷贝至了Slave节点的/home/hadoop目录下，执行过程中会要求输入Slave节点hadoop用户的密 码，输入完成后会显示传输的进度：
（4）在Slave节点上，将Master节点的ssh公钥加入授权，执行命令：
ssh localhost --执行该命令是为了生成~/.ssh目录，或者mkdir ~/.ssh创建
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
（5）至此，已经完成 了Master节点无密码SSH登陆到Slave节点的配置。在Master节点上输入命令：ssh Slave 进行验证，登陆成功如下 图：
配置hadoop分布式环境需要修改hadoop中的五个配置文件，分别为：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、 yarn-site.xml。具体的配置项及作用可以参考官网的说明，这里对正常启动分布式集群所必须的配置项进行配置。
将作为DataNode节点的主机名写入文件。该文件默认为localhost，因此伪分布配置时，节点是NameNode的同时也是 DataNode。localhost可以删除有可以保留。本文Master仅作为NameNode节点，Slave作为DataNode节点，因此删除localhost。
由于只有一个Slave节点，所有dfs.replication的值设为1。
默认文件名为mapred-site.xml.template，重命名为mapred-site.xml后，修改配置。
配置完成后，将Master上的hadoop文件夹复制到Slave节点上相同路径下（/usr/local/），并修改文件夹的owner为hadoop。
接着便可启动分布式hadoop集群了，启动集群前需要先关闭集群中每个节点的防火墙，否则会引起DataNode启动了，但Live datanode为0。
首次启动需要先在Master节点执行NameNode的格式化，命令：
然后启动hadoop，hadoop的启动与关闭需要在Master节点上进行。
启动hadoop，执行hadoop/sbin中的启动脚本
cd /usr/local/hadoop/sbin
./mr-jobhistory-daemon.sh start historyserver
在Slave节点中可以看到NodeManager和DataNode进程，如图。
任一进程缺少都表示启动出错。同时，我们还需要在Master节点通过命令hdfs dfsadmin -report查看DataNode是否正常启动，如果 Live datanode为0，则说明启动失败。由于我们只配置了一个DataNode，所以显示Live datanode为1，如图。
我们还可以通过web页面查看DataNode和NameNode的状态：http://master:50070。
接着我们便可以执行分布式实例了，我们启动了mr-jobhistory服务，可以通过Web页http://master:8088/cluster，点击Tracking UI 中的history查看任务运行信息。
Mr-jobhistory-daemon.sh stop historyserver
Hadoop分布式集群的搭建
标签：cp命令 server 脚本 sudo 修改文件 author ica AC cluster
原文地址：https://www.cnblogs.com/163yun/p/8929093.html
