码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop之伪分布式安装

时间:2019-07-25 00:07:47      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:oracle   jdk   操作文件   部署   copy   ldo   oop   javac   使用   

一、Hadoop的安装模式有3种

  ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序。

  ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境。

  ③完全分布式模式:用多台机器(或启动多个虚拟机)来完成部署集群。

二、安装主要涉及以下内容:

  ①JDK

  ②配置主机名、hosts文件以及免密登录

  ③修改hadoop的配置文件,主要涉及以下几个配置文件(hadoop-2.7.7/etc/hadoop)

    1)hadoop-env.sh:这里主要修改jdk的安装路径等

    2)core-site.xml:主要指定namenode的地址和文件存放目录等

    3)hdfs-site.xml:指定复本数量

    4)mapred-site.xml:执行MR程序运行在yarn上

    5)yarn-site.xml:指定NodeManager获取数据的方式和resourceManager的地址

    6)slaves文件:伪分布式配置本主机名即可

  ④配置hadoop的环境变量和格式化namenode

三、下边将按照上述说明进行搭建hadoop的伪分布式

  ①获取Hadoop的安装包:http://hadoop.apache.org/releases.html,注意:source为源码包,binary为安装包

    我这里以2.7.7版本为例:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.ta??r.gz 

    解压Hadoop安装包:tar -xvf hadoop...

    目录说明:
    bin目录:命令脚本
    etc/hadoop:存放hadoop的配置文件
    lib目录:hadoop运行的依赖jar包
    sbin目录:启动和关闭hadoop等命令都在这里
    libexec目录:存放的也是hadoop命令,但一般不常用
    最常用的就是bin和etc目录

  ②安装jdk,下载对应linux版本的tar.gz包:https://www.oracle.com/technetwork/java/javase/downloads/index.html

    1)解压:tar -xvf jdk-8u131-linux-x64.tar.gz

    2)配置环境变量:vim  /etc/profile

#java env
JAVA_HOME=/home/softwares/jdk1.8.0_131
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH
export PATH=$PATH

    3)通过:java,javac,java -version来查看jdk是否安装成功。

  ③关闭防火墙

     1)service iptables stop  临时关闭

     2)chkconfig iptables off    永久关闭

  ④配置主机名,修改完成以后重启!!!

    vim /etc/sysconfig/network  

NETWORKING=yes
HOSTNAME=hadoopalone
//hadoopalone  这是我修改的,表示是伪分布式

  ⑤配置hosts文件

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.144.133 hadoopalone         //配置 ip和主机名映射

  ⑥配置免密登录

    1)ssh-keygen,一路回车即可。

    技术图片

    2)ssh-copy-id root@hadoopalone

    技术图片

   ⑦下面正式进入重点:Hadoop配置之hadoop-env.sh      

    这个文件里写的是hadoop的环境变量,主要修改hadoop的java_home路径
    切换到 etc/hadoop目录
    执行:vim hadoop-env.sh
    修改java_home路径,如图所示,保存退出后,切记 source hadoop-env.sh使配置文件生效。

    技术图片

    ⑧Hadoop配置之core-site.xml,为防止图片失效,配置也粘贴出来。

    技术图片

 

 1 <configuration>
 2 <!--用来指定hdfs的老大,namenode的地址-->
 3 <property>
 4 <name>fs.defaultFS</name>
 5 <value>hdfs://hadoopalone:9000</value>
 6 </property>
 7 <!--用来指定hadoop运行时产生文件的存放目录-->
 8 <property>
 9 <name>hadoop.tmp.dir</name>
10 <value>/home/softwares/hadoop-2.7.7/tmp</value>
11 </property>
12 <!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件-->
13 <property>
14 <name>dfs.permissions</name>
15 <value>false</value>
16 </property>
17 </configuration>

  ⑨修改:Hadoop配置之hdfs-site.xml,为防止图片失效,配置也粘贴出来。

    技术图片

<configuration>
<!--指定hdfs保存数据副本的数量,包括自己,默认值是3-->
<!--如果是伪分布模式,此值是1即可-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

    ⑩修改:Hadoop配置之mapred-site.xml,为防止图片失效,配置也粘贴出来。默认是map-site.xml.template,拷贝并重命名为mapred-site.xml。

    技术图片

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

    (11)修改:Hadoop配置之mapred-site.xml,为防止图片失效,配置也粘贴出来。

     技术图片

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!--指定yarn的老大 resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoopalone</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

    (12)配置slaves文件,同样在hadoop-2.7.7/etc/hadoop目录下

      vim  slaves

      技术图片

    (13)配置Hadoop的环境变量,记得source /etc/profile

    技术图片

#java env
JAVA_HOME=/home/softwares/jdk1.8.0_131
HADOOP_HOME=/home/softwares/hadoop-2.7.7
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
export PATH=$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

    (14)最后一步:格式化namenode

    技术图片

    当出现以下中的关键语句表示格式化成功!

    技术图片

   通过start-all.sh启动我们刚刚搭建的hadoop伪分布式模式:start-all.sh

  通过:jps命令来查看,出现以下进程说明我们的hadoop伪分布式搭建完成!!!

  技术图片

 

技术图片

 

Hadoop之伪分布式安装

标签:oracle   jdk   操作文件   部署   copy   ldo   oop   javac   使用   

原文地址:https://www.cnblogs.com/rmxd/p/11241462.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!