码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop完全分布式部署

时间:2020-02-25 19:52:10      阅读:51      评论:0      收藏:0      [点我收藏+]

标签:format   分布式部署   property   man   开启   ado   manager   mapr   cat   

1.准备两台虚拟机,配置hosts文件

  vim /etc/hosts

  技术图片

 

 

   加入两台虚拟机的ip 和主机名(两台分别都要配置)

2.配置ssh免密通信

ssh-keygen
ssh-copy-id 主机名
ssh 主机名(测试是否免密成功

3.配置hdfs-site.xfs文件

 <configuration>
          <property>
                  <name>dfs.replication</name>
                  <value>3</value>
          </property>
  </configuration>

4.配置slaves文件

  技术图片

 

 

   加入两台主机名

5.若有虚拟机是克隆来的,需清除/dfs内文件

  技术图片

 

 

   cd dfs

   rm -rf *

6.格式化

  hadoop namenode -format

7.启动

  start-all.sh

  访问192.168.0.177:50070

  技术图片

 

   部署后看到有两个节点

  技术图片

 8.指令

  start-all.sh 一次性打开5个软件 namenode datanode secondarynamenode resourcemanager nodemanager
  stop-all.sh 一次性关闭5个软件

  start-dfs.sh 一次性打开3个软件 namenode datanode secondarynamenode HDFS开启服务
  stop-dfs.sh 一次性关闭3个软件 namenode datanode secondarynamenode HDFS关闭服务

  start-yarn.sh 一次性打开2个软件 resourcemanager nodemanager MapReduce使用的
  stop-yarn.sh 一次性关闭2个软件 resourcemanager nodemanager MapReduce使用的

  hadoop-daemon.sh start 开启其中一个软件 namenode datanode secondarynamenode

  hadoop-daemon.sh stop 关闭其中一个软件

hadoop完全分布式部署

标签:format   分布式部署   property   man   开启   ado   manager   mapr   cat   

原文地址:https://www.cnblogs.com/asksk/p/12363099.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!