码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop完全云计算平台搭建

时间:2020-03-03 13:20:26      阅读:95      评论:0      收藏:0      [点我收藏+]

标签:roo   密码登录   lib   res   ash   nod   etc   path   ali   

一.以之前搭建的为云计算平台为主节点

角色分配

Master:NameNode/DataNode ResourceManager/NodeManager

Slave1:DataNode NodeManager

Slave2:DataNode NodeManager

1. 修改hostname

技术图片

2. 修改hosts,添加每个节点的ip地址以及对应的hostname

技术图片

3. ping测试

技术图片

二. ssh免密码登录

[root@localhost .ssh]# ssh-keygen -t rsa
##生成公钥
[root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub master 
#分发公钥给master  slave1  slave2
[root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
[root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

 技术图片

分发

技术图片

 免密登录测试

ssh slave1

 技术图片

 如果其他两台主机需要免密登录需要重复以上步骤,生成公钥然后分发给其他两台主机,实现免密码登录

三. 解压jdkhadoop(以下操作均是在master节点操作,详细参考伪云计算平台搭建)

 

[root@localhost opt]# tar xvf hadoop-2.7.2.tar.gz
[root@localhost opt]# tar xvf jdk-8u172-linux-x64.tar.gz
[root@localhost opt]# mkdir Hadoop
[root@localhost opt]# mkdir Java
[root@localhost opt]# mv jdk1.8.0_172/ Java/
[root@localhost opt]# mv hadoop-2.7.2 Hadoop/

 配置环境变量

vi  ~/.bashrc

 添加

export JAVA_HOME=/opt/Java/jdk1.8.0_172
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin

 技术图片

[root@localhost opt]# source  ~/.bashrc
#使得配置生效

 2.修改配置

[root@localhost hadoop]# cd /opt/Hadoop/hadoop-2.7.2/etc/hadoop

 添加变量

[root@localhost hadoop]# vi hadoop-env.sh
添加这一条
export JAVA_HOME=/opt/Java/jdk1.8.0_172

修改配置

 [root@master hadoop]# vi slaves

 添加内容为

master
slave1
slave2

 3.分发安装包到slave1和slave2节点

[root@master ~]# scp ~/.bashrc root@slave1:~/
[root@master ~]# scp ~/.bashrc root@slave2:~/
[root@master ~]# scp -r /opt root@slave1:/
[root@master ~]# scp -r /opt root@slave2:/

技术图片

分发需要一段时间,耐心等待就好

 使得配置生效(slave1和slave2节点)

[root@localhost hadoop]# source  ~/.bashrc
[root@localhost hadoop]# echo  $JAVA_HOME
/opt/Java/jdk1.8.0_172

 格式化

对slave1和slave2节点格式化

[root@localhost hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/bin
[root@localhost bin]# ./hadoop  namenode  -format

 技术图片

slave1节点

技术图片

启动服务,在master中启动

[root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
[root@master sbin]#./start-all.sh

 技术图片

 至此,完全云计算平台搭建完成

 浏览器访问

http://192.168.2.100:50070/

就可以看到Hadoop

技术图片

 

Hadoop完全云计算平台搭建

标签:roo   密码登录   lib   res   ash   nod   etc   path   ali   

原文地址:https://www.cnblogs.com/mke2fs/p/12401234.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!