码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop伪分布式环境配置

时间:2015-09-19 13:47:48      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

配置hadoop2.7.1伪分布式 需要配置五个文件

第一个: vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_80

 

第二个: vim core-site.xml

<configuration>

<!-- 用来这顶HDFS的老大(NameNode)的地址-->   

  <property>

       <name>fs.defaultFS </name>

       <value>hdfs://majiabin01:9000</value>

    </property>

<!-- 用来指定Hadoop运行时产生文件存放的目录-->

    <property>

        <name>hadoop.tmp.dir </name>

        <value>/itcast/hadoop-2.7.1/temp</value>

    </property>

</configuration>

 

第三个: vim hdfs-site.xml

<configuration>

<!-- 用来指定HDFS保存数据副本的数量-->

     <property>

        <name>dfs.replication</name>

        <value>1</value>

     </property>

</configuration>

 

第四个: vim mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

 

<configuration>

  <!-- 告诉Hadoop以后MR运行在YARN上-->

   <property>

       <name>mapreduce.frameword.name</name>

       <value>yarn</value>

   </property>

</configuration>

 

第五个:vim yarn-site.xml

<configuration>

  <!--NodeManager获取的方式是shuffle-->

         <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

         </property>

  <!--指定YARN的老大(ResourceManager)的地址-->

         <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>majiabin01</value>

         </property>

</configuration>

 

 

将Hadoop添加到环境变量中

vim /etc/properfile

export JAVA_HOME=/usr/java/jdk1.7.0_80

export HADOOP_HOME=/itcast/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

刷新配置 source /etc/profile

初始化HDFS(初始化文件系统)

Hadoop namenode -format(已过时)

hdfs namenode -format(推测)

hadoop伪分布式环境配置

标签:

原文地址:http://www.cnblogs.com/majiabin/p/4821251.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!