标签：
我这边给出我的集群环境是由一台主节点master和三台从节点slave组成：
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
slave3 192.168.1.5
申明：我搭建的这个集群不是在普通用户，所以一下操作都是在超级用户root上。
一、虚拟机的安装
a) 我们从centos官网下载CentOS7（下载DVD IOS镜像就行了）
b) 在VMware Workstation 11上安装四台虚拟机，这里的具体的安装步骤，我就不再赘述。
二、虚拟机前期配置
a) 装好四台虚拟机后，我们设置虚拟机为静态IP，并修改一下虚拟机的主机名和IP地址，还需要增加IP与主机映射：
1） 修改主机名（分别在四台虚拟机修改为：master、slave1、slave2和slave3）：
vi /etc/hostname
2） 修改IP地址并设置为静态IP：
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736（虚拟机的网卡一般默认都是ifcfg-eno16777736）
增加以下内容：
BOOTPROTO=static #设置为静态IP
ONBOOT=yes #打开网卡
IPADDR=192.168.1.2 #设置IP，对应上面给出的四个IP地址，这里是master的IP
NETMASK=255.255.255.0 #设置子网掩码
GATEWAY=192.168.1.1 #设置网关
DNS1=8.8.8.8 #设置DNS，这里是Google的两个域名解析
DNS2=8.8.4.4
3） 增加IP与主机映射：
vi /etc/hosts
增加以下内容：
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
192.168.1.5 slave3
4）在完成以上步骤后reboot重启四台虚拟机：
reboot
三、ssh免密码登录
a) 在每台虚拟机的根目录root下，创建ssh公钥：
1） ssh-keygen –t rsa #连续回车，系统自动生成图形公钥
2） 在master中，进入.ssh目录，并将公钥写到authorized_keys：
cd .ssh/
ssh master cat id_rsa.pub>> authorized_keys #需要输入超级用户密码
ssh slave1 cat id_rsa.pub>> authorized_keys #需要输入超级用户密码
ssh slave2 cat id_rsa.pub>> authorized_keys #需要输入超级用户密码
ssh slave3 cat id_rsa.pub>> authorized_keys #需要输入超级用户密码
3） 更改authorized_keys属性，使之不能被修改：
chmod 600 authorized_keys
4） 在master的.ssh目录下，将生成的known_hosts和authorized_keys复制到各个从节点：
scp authorized_keys root@slave1:/root/ #需要输入超级用户密码
scp authorized_keys root@slave2:/root/ #需要输入超级用户密码
scp authorized_keys root@slave3:/root/ #需要输入超级用户密码
scp known_hosts root@slave1:/root/
scp known_hosts root@slave1:/root/
scp known_hosts root@slave1:/root/
5) 验证ssh的免密码登录：
在master中输入：ssh slave1、ssh slave2和ssh slave3是否需要密码，如果不需要，则ssh免密码配置成功。
四、jdk安装
五、scala安装
六、Hadoop2.6的解压安装
a) 我们从cloudera官网下载Hadoop-2.6.0-cdh5版本的压缩包
b) 在master节点中，解压Hadoop压缩包到/root/app/中：
tar –xzvf hadoop-2.6.0-cdh5.4.0.tar.gz
七、集群环境Hadoop的配置
在master中，进入到Hadoop的配置目录：
cd hadoop-2.6.0-cdh5.4.0 /etc/hadoop
a) slaves的配置：
vi slaves
删除localhost，增加三个从节点：
slave1
slave2
slave3
b) core-site.xml的配置：
在此之前，需要在Hadoop目录下创建data/tmp：
mkdir data
cd data
mrdir tmp
mkdir dfs
cd dfs
mkdir data
mkdir name
在hadoop-2.6.0-cdh5.4.0 /etc/hadoop下：
vi core-site.xml
在core-site.xml中增加：
<property>
<name>hadoop.tmp.dir</name>
<value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>
</property>
c) hdfs-site.xml的配置：
vi hdfs-site.xml
在hdfs-site.xml增加：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/data</value>
</property>
d) mapred-site.xml的配置：
vi mapred-site.xml
在mapred-site.xml增加：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
e) yarn-site.xml的配置：
vi yarn-site.xml
在yarn-site.xml增加：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
f) 配置好master中的Hadoop后，将Hadoop复制到各个节点对应位置上：
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave1:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave2:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave3:/root/app/
八、启动hadoop
a）在主节点master的hadoop的目录下：
bin/hdfs namenode –format
sbin/start-dfs.sh
sbin/start-yarn.sh
然后在主节点master输入jps可以查看到NameNode、SecondaryNameNode、Jps和ResourceManager四个进程。
在从节点slave输入jps可以查看到Jps、NodeManager和DataNode三个进程。
b) 出现以上进程提示，恭喜你，你的hadoop的环境搭建完成！
标签：
原文地址：http://www.cnblogs.com/cstzhou/p/4557477.html
