码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop的分布式安装过程

时间:2014-08-18 01:31:33      阅读:233      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   使用   os   文件   for   ar   

hadoop的分布式安装过程

分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode

从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker

我的配置:用户名/密码均为:root/huanghe

集群
主机名
ip

主节点:Red Hat Enterprise Linux 6
huanghe
192.168.56.100

从节点1: Red Hat Enterprise Linux 6_1
huanghe1
192.168.56.101

从节点2: Red Hat Enterprise Linux 6_2
huanghe2
192.168.56.102

四步曲:

bubuko.com,布布扣

修改对应的域名:vi  /etc/hosts

修改主机名:vi  /etc/sysconfig/network

修改hadoop的配置信息( 进入:cd  /usr/local/hadoop/conf/):

然后分别修改一以下两个文件:

vi  core-site.xml

vi mapred-site.xml

修改完后重启机器: reboot -h now

生成SSH信息:

1、首先删除   /root/.ssh文件夹下的所有文件

rm -rf  /root/.ssh/*

2、删除  /usr/local/下的所有文件,以便重新配置(注:以后所有软件包均放在/usr/local/下进行解压安装)

rm -rf /usr/local/*

3、生成SSH公钥(生成的文件自动会放在/root/.ssh文件夹中)

    首先执行:ssh-keygen  -t   rsa

    进入 cd  /root/.ssh   然后复制id_ras.pub文件,命名为authorized_keys

cp   id_rsa.pub  authorized_keys

    或执行等价命令:cat  id_ras.pub >>authorized_keys

验证:ssh localhost 或 ssh huanghe1

安装相应的软件

将相应的软件复制到/usr/local文件夹下,然后 tar -zxvf xxx.tar,进行解压安装,

然后将解压后的文件夹使用mv命令进行重命名

最后修改/etc/profile配置文件,设置路径,具体如下:

修改系统环境变量:

vi  /etc/profile

修改完后source一下,使配置文件立即生效:

source /etc/profile

?修改每一台主机hosts文件,使之ping 主机名时能通

   打开文件 vi /etc/hosts 然后修改为:

    192.168.56.100 huanghe

    192.168.56.101 huanghe1

    192.168.56.102 huanghe2

由伪分布转为全分布时:

把huanghe的/usr/local/hadoop目录下的tmp和logs文件夹删除:

    rm  -rf  /usr/local/hadoop/tmp

    rm  -rf  /usr/local/hadoop/logs

把huanghe中的hadoop目录中的jdk、hadoop文件夹复制到huanghe1、huanghe2节点

    scp  -r  /usr/local/jdk huanghe1:/usr/local/

    scp  -r  /usr/local/hadoop huanghe1:/usr/local/

    scp  -r  /usr/local/jdk    huanghe2:/usr/local/

    scp  -r  /usr/local/hadoop    huanghe2:/usr/local/

把huanghe中的配置文件/etc/profile复制到huanghe1和huanghe2节点

scp  /etc/profile   huanghe1:/etc/

scp  /etc/profile   huanghe2:/etc/

然后在目标节点分别执行

source  /etc/profile

设置主从节点关系

进入huanghe的/usr/local/hadoop/conf目录中,修改slaves文件

vi   /usr/local/hadoop/conf/slaves      

初次打开时,里面有一行,内容是:localhost    先将这行删除,然后在这个文件中添加下面两行:

huanghe1

huanghe2

含义是:将huanghe1和huanghe2这两个节点作为他的从节点

配置完以上信息后,对huanghe节点执行格式化(只需对主节点进行格式化)

hadoop  namenode  -format

?然后启动:

start-all.sh

?验证:

    输入命令: jps

    或在浏览器地址栏中输入:192.168.56.100:50070

    192.168.56.101:50070

    192.168.56.102:50070

补充:

    将主节点中的secondname移到一台独立的节点上,例如移动到huanghe1的节点上,修改如下:

    修改主节点中的masters文件,执行步骤如下

stop-all.sh

vi   /usr/local/hadoop/conf/masters

    将其里面的内容清空,然后添加一行如下

    huanghe1

然后再重新启动         start-all.sh

--------------------------------------------注意------------------------------------

对已配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容.

core-site.xml文件决定了namenode节点的主机地址

mapred-site.xml文件决定了jobtrack节点的主机地址

hadoop的分布式安装过程,布布扣,bubuko.com

hadoop的分布式安装过程

标签:style   blog   http   使用   os   文件   for   ar   

原文地址:http://www.cnblogs.com/wyhuang/p/3918593.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!