伪分布式模式的Hadoop环境搭建

时间：2016-04-13 21:01:18 阅读：452 评论：0 收藏：0 [点我收藏+]

一、本文说明：
     本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。

二、环境说明：
      操作系统：Cent Os 6.7
      hadoop版本：hadoop-2.7.2
      JDK版本：jdk1.8_77
     备注：基于独立模式基础上搭建，参考文章：独立模式的Hadoop环境搭建。

三、基本环境配置
       1、针对不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夹
            独立模式：hadoop_alone（建议）
            伪分布模式：hadoop_presudo（建议）
            完全分布模式：hadoop_cluster（建议）
      2、参数配置目录的指定方式
              A、默认方式：${HADOOP_HOME}/etc/hadoop/*.xml
              B、通过启动参数指定配置目录
                     Start-dfs.sh –config=/path
              C、通过环境变量HADOOP_CONF_DIR=/path(/etc/profile)
       备注：因为搭建伪分布模式：我这里配置的${HADOOP_HOME}/etc/hadoop_presudo
       技术分享


三、环境搭建
     1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml


     2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml


    3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml


     4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
     技术分享

    5、格式化HDFS文件系统




    6、启动HDFS和YRAN的守护进程（start-dfs.sh,start-yarn.sh）



备注:停止进程是按照YARN先关闭然后关闭HDFS，不要频繁的格式化名称节点

   7、通过fs操作HDFS里面的文件
              A、创建目录：hadoop fs -mkdir -p /user/Ubuntu
              B、显示目录：hadoop fs -ls -R /
              ……

   8、访问：http://IP:50070
       技术分享