码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop完全分布式安装

时间:2018-07-07 12:39:18      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:x86_64   inux   reduce   white   start   sbin   size   查看   http   

  环境介绍

服务器软件版本
操作系统 CentOS 6.5 x86_64
Java 1.7.0_79
hadoop 2.6.1
hadoop各个节点集群架构
主机名 ip 角色
hadoop01 192.168.103.137 ResourceManager/NameNode/SecondaryNameNode
hadoop02 192.168.103.138 NodeManager/DataNode
hadoop03 192.168.103.140 NodeManager/DataNode

  环境配置

本实验是在VMware虚拟机上操作,考虑到有些软件安装中会上传下载等重复操作,所以先安装配置一台服务器,然后用这台服务器克隆出其它两台。
先安装好一台服务器,设置IP为192.168.103.137,以下操作都是在这台服务器上操作。
1)安装jdk,如果已经安装跳过
将下载的jdk-7u79-linux-x64.tar.gz软件包上传到服务器,解压到/usr/local/目录,并更名为jdk。
技术分享图片
2)安装ssh-clients,如果已经安装跳过,通过命令安装:yum install openssh-clients
3)上传解压hadoop
技术分享图片
然后将JAVA_HOME和HADOOP_HOME配置到环境变量中
技术分享图片
source ~/.bashrc
4)关闭防火墙,集群安装后会有网络通信,需要开启一些端口,为了方便直接关闭防火墙。
技术分享图片
5)克隆服务器,配置主机域名
将配置好的137服务器克隆出两台,分别配置好IP为138和140,具体配置可参考文档。
三台服务器能相互ping通,然后配置主机名,三台都要配置,配置好后通过域名相互ping通。
技术分享图片
技术分享图片
免密登入

  三台服务器分别执行ssh-keygen -t rsa生成密匙对,然后通过ssh-copy-id

  root@192.168.103.137,将公匙加到三台服务器授权列表,注意每台服务器都要全部配到三台,包括当前所在主机。配置好后三台服务器能相互ssh登入

  技术分享图片

  安装hadoop

  对三台服务器都进行如下操作,修改hadoop配置文件,配置文件在安装目录etc/hadoop下,需要修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

  创建/usr/local/hadoop/tmp目录:

  修改core-site.xml为:

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
</configuration>

  修改hdfs-site.xml为:

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

  将mapred-site.xml.template更名为mapred-site.xml,并mapred-site.xml修改为:

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

  修改yarn-site.xml为:

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
</configuration>
在hadoop01节点上修改slaves文件,添加从节点:
技术分享图片
 

  启动hadoop

  1)格式化文件系统,hadoop可以在任意目录执行,因为配置了path环境变量,其实调用的是/usr/local/hadoop/bin下的hadoop命令

 

hadoop namenode -format

 

技术分享图片

  2)启动hdfshadoop可以在任意目录执行,因为配置了path环境变量,其实调用的是/usr/local/hadoop/sbin下的start-dfs.sh命令

 

start-dfs.sh 

 

技术分享图片

  启动成功后通过jps命令查看进程,hadoop01节点启动了三个进程SecondaryNameNode、NameNode、DataNode,hadoop02和hadoop03启动进程一样,只启动了DataNode进程。

技术分享图片

技术分享图片

  3)启动yarn

start-yarn.sh 

 

技术分享图片

  通过jps命令查看进程,hadoop01节点启动了两个进程ResourceManager、NodeManager,hadoop2和hadoop03启动进程一样,只启动了NodeManager进程。

技术分享图片

技术分享图片

  4)运行效果

  在window浏览器访问http://192.168.103.137:50070

技术分享图片

  点击datanode查看数据节点

技术分享图片

  访问http://192.168.103.137:8088,查看MR任务

技术分享图片

 

hadoop完全分布式安装

标签:x86_64   inux   reduce   white   start   sbin   size   查看   http   

原文地址:https://www.cnblogs.com/zengfa/p/9276809.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!