码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop完全分布式搭建

时间:2020-02-25 20:23:00      阅读:53      评论:0      收藏:0      [点我收藏+]

标签:主机   top   oop   alt   block   技术   star   虚拟机   hostname   

1.克隆一台虚拟机作为分布式系统的节点

技术图片

 

 

2.更改克隆机的网络配置

cd /etc/sysconfig/network-scripts

vi ifcfg-ens33

技术图片

 修改完毕后退出,重启网络:

 systemctl restart network

 

3.添加主机映射

先修改主机名:vi /etc/hostname

技术图片

 再添加主机映射:

技术图片

 

4.配置免密

在原机器输入:ssh-keygen

并将公钥发送给克隆机:ssh-copy-id hadop52

 

5.配置namenode节点的slaves

在所有机器(原机器和克隆机)的hadoop安装目录:etc/hadoop/slaves中修改配置文件

技术图片

 

6.修改hdfs-site.xml配置文件

技术图片

将value值修改为如上图所示,并将该配置文件发送给克隆机,覆盖克隆机原来的配置文件:

scp /opt/soft/hadoop2.7/etc/hadoop/hdfs-site.xml root@hadop52:/opt/soft/hadoop2.7/etc/hadoop

 

7.清空hadoop安装目录下tmp/dir目录中所有文件

 rm -rf *

初始化namenode节点的hadoop:

 hadoop namenode -format

8.开启或关闭hadoop服务的相关命令

开启一个软件:
1、hadoop-daemon.sh start namenode
2、hadoop-daemon.sh start datanode
3、hadoop-daemon.sh start secondarynamenode  (hadoop-daemon.sh stop 关闭一个软件)
4、yarn-daemon.sh start resourcemanager
5、yarn-daemon.sh start nodemanager

start-dfs.sh 一次性打开三个软件1、2、3  HDFS开启服务
stop-dfs.sh  一次性关闭三个软件1、2、3     

start-yarn.sh 一次性打开两个软件4、5  MapReduce使用
stop-yarn.sh  一次性关闭两个软件4、5

start-all.sh    一次性打开5个软件1、2、3、4、5
stop-all.sh     一次性关闭5个软件1、2、3、4、5

9.访问50070端口
技术图片

 

 

Hadoop完全分布式搭建

标签:主机   top   oop   alt   block   技术   star   虚拟机   hostname   

原文地址:https://www.cnblogs.com/theyang/p/12363276.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!