码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop伪分布式安装

时间:2018-07-13 17:41:38      阅读:171      评论:0      收藏:0      [点我收藏+]

标签:pre   使用   mkdir   hadoop   div   新建   配置jdk环境变量   写入   rop   

  1.先下载hadoop包,这里使用hadoop-2.7.3.tar.gz


  2.配置hadoop环境变量:修改/etc/profile文件 :vi /etc/profile
      HADOOP_HOME=/soft/hadoop
      PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      export HADOOP_HOME PATH


  3. source /etc/profile让其生效


  4.新建3个文件夹,用来存放hadoop操作时的数据等内容
      此处新建 /hadoop/tmp /hadoop/dfs/data /hadoop/dfs/name
    
  5.配置core-site.xml(位置hadoop/etc/hadoop/core-site.xml):

   <configuration>
          <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.72.100:9000</value>
          </property>
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/tmp</value>
          </property>
     </configuration>

 


     
  6.配置hdfs-site.xml(和core-site.xml位于同一目录)
      

<configuration>
          <property>
            <name>dfs.namenode.name.dir</name>
            <value>/hadoop/dfs/name</value>
          </property>
          <property>
            <name>dfs.datanode.data.dir</name>
            <value>/hadoop/dfs/data</value>
          </property>
          <property>
            <name>dfs.replication</name>
            <value>1</value>
          </property>
          <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
          </property>
      </configuration>

 


      (这里使用了第四步创建的文件夹)


  7. 使用命令对namenode进行格式化:hdfs namenode -format


  8.启动hadoop:在hadoop的sbin目录下执行:./start-all.sh ./stop-all.sh

 

  9.使用jps查看hadoop进程是否启动
  

  10.这时候我们访问ip:50070端口,如果可以成功验证说明hdfs配置没有问题

  11.我们使用hdfs dfs -mkdir 文件夹 命令来创建文件夹,hdfs中的好多操作和linux 系统中很相  似,创建成功以后可以在utilities中看到我们创建的文件夹


  12.在系统中创建一个文件,写入一些内容


  13.hdfs dfs -put 文件 文件夹 将文件放到hdfs中
  至此,hadoop伪分布式安装完成。

  14.发现hdfs启动不成功,并提示 JAVA_HOME is not set and could not be found
  那么需要在hadoop配置jdk环境变量:
      在hadoop/etc/hadoop-env.sh 中输入export JAVA_HOME=/soft/jdk
    
  15.重新format namenode后,datanode无法正常启动
      执行hdfs namenode -format后,current目录会删除并重新生成,其中VERSION文件中的    clusterID也会随之变化,而datanode的VERSION文件中的clusterID保持不变,造成两个    clusterID不一致。

  所以为了避免这种情况,可以再执行的namenode格式化之后,删除datanode的current文件夹,  或者修改datanode的VERSION文件中出clusterID与namenode的VERSION文件中的clusterID一  样,然后重新启动datanode。

hadoop伪分布式安装

标签:pre   使用   mkdir   hadoop   div   新建   配置jdk环境变量   写入   rop   

原文地址:https://www.cnblogs.com/qingtianxt/p/9305789.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!