Hadoop配置安装手册

标签：

本次Hadoop集群安装一共使用四个节点，各节点IP如下：

系统版本CentOS 6.2L

JDK版本：1.7

Hadoop版本：1.1.2

完成四个节点系统安装后，开始安装hadoop：

1. 配置hosts文件

2. 配置SSH免密码登录

3. 安装JDK

4. 下载并解压hadoop

5. 配置namenode，修改site文件

6. 配置hadoop-env.sh文件

7. 配置masters和Slaves文件

8. 向各节点复制hadoop

9. 格式化namenode

10. 启动hadoop

11. Jps检测是否启动成功

12. 通过网站查看集群情况

1 配置hosts文件

Hadoop会使用多个端口，开始配置前最好开放相应端口或者关闭防火墙

CentOS命令为:

chkconfig iptables off

service iptables stop

为了方便操作，我们直接配置hosts文件，以后可以直接使用master，slave来代替IP

2 配置SSH免密码登录

因为hadoop需要用master节点管理其它节点，需要将master的public key发送给其他节点，使用SSH可以减少很多操作。

返回hadoop账号，创建hadoop用户的密钥：

生成密钥后，将public key更名为authorized_keys文件，并测试是否可以免密码登录：

输入命令: ssh master，检测是否需要密码，第一次会提示是否保存密钥，输入yes即可，在其他三个节点中执行相同的操作。

最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。

如果成功，则可以直接使用 ssh slave 连接其他节点。

3 安装JDK

先查看自带jdk，这里是openJDK，我们需要卸载然后重新安装JDK

查看openJDK依赖包，依次卸载

将jdk文件复制到master节点 /usr/local 目录下并解压。

修改 /etc/profile 文件，添加Jdk目录

输入 source /etc/profile 使配置生效

最后查看java版本

尽量保持各节点jdk版本和路径一直，方便后续安装

4 下载并解压hadoop

修改 /etc/profile文件，添加hadoop路径

最后使 profile文件生效，输入 source /etc/profile

5 配置namenode，修改site文件

6 配置hadoop-env.sh文件

7 配置masters和Slaves文件

8 向各节点复制hadoop

对其他节点执行相同操作，将Hadoop文件发送到节点

9 格式化namenode

在第一次启动时格式化namenode，多次格式化可能会使namenode和datanodeID不一致

10 启动hadoop

11 Jps检测是否启动成功

12 通过网站查看集群情况

Hadoop配置安装手册

标签：

原文地址：http://www.cnblogs.com/bincoding/p/5545477.html