标签：

搭建伪分布环境

• 上传hadoop2.7.0编译后的包并解压到/zzy目录下

mkdir /zzy

解压

tar -zxvf hadoop.2.7.0.tar.gz -C /zzy

?

?

• 配置hadoop

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

????伪分布式需要修改5个配置文件

第一个：hadoop-env.sh

????????vim hadoop-env.sh

????????#第27行

????????export JAVA_HOME=/usr/java/jdk1.7.0_79

????????

第二个：core-site.xml

????????<!--指定fs的默认名称-->

????????<property>

<name>fs.default.name</name>

<value>hdfs://zzy:9000</value>

</property>

????????<!-- 指定HDFS的老大（NameNode）的地址 -->

????????<property>

????????????<name>fs.defaultFS</name>

????????????<value>hdfs://zzy:9000</value>

????????</property>

????????<!-- 指定hadoop运行时产生文件的存储目录 -->

????????<property>

????????????<name>hadoop.tmp.dir</name>

????????????<value>/zzy/hadoop-2.7.0/tmp</value>

</property>

????????

第三个：hdfs-site.xml

????????<!-- 指定HDFS副本的数量 -->

????????<property>

????????????<name>dfs.replication</name>

????????????<value>1</value>

</property>

????????

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

????????mv mapred-site.xml.template mapred-site.xml

????????vim mapred-site.xml

????????<!-- 指定mr运行在yarn上 -->

????????<property>

????????????<name>mapreduce.framework.name</name>

????????????<value>yarn</value>

</property>

????????

第五个：yarn-site.xml

????????<!-- 指定YARN的老大（ResourceManager）的地址 -->

????????<property>

????????????<name>yarn.resourcemanager.hostname</name>

????????????<value>zzy</value>

????????</property>

????????<!-- reducer获取数据的方式 -->

????????<property>

????????????<name>yarn.nodemanager.aux-services</name>

????????????<value>mapreduce_shuffle</value>

????</property>

• 将hadoop添加到环境变量

vim /etc/profile

内容如下：

JAVA_HOME=/usr/java/jdk1.7.0_79

HADOOP_HOME=/zzy/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

?

让配置生效:

source /etc/profile

?

• 格式化namenode（是对namenode进行初始化）

hdfs namenode -format 或者 hadoop namenode -format

?

• 启动hadoop

  ?

  • 先启动HDFS

  sbin/start-dfs.sh

????????

• 再启动YARN

????sbin/start-yarn.sh

?

• 验证是否启动成功

使用jps命令验证

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

????

http://192.168.0.2:50070 （HDFS管理界面）

http://192.168.0.2:8088 （MR管理界面）

?

Hadoop环境测试

• 测试HDFS
  • HDFS shell操作

  #查看帮助

????????????hadoop fs -help <cmd>

#上传

????????????hadoop fs -put <linux上文件> <hdfs上的路径>

#查看文件内容

????????????hadoop fs -cat <hdfs上的路径>

#查看文件列表

????????????hadoop fs -ls /

#下载文件

????????????hadoop fs -get <hdfs上的路径> <linux上文件>

?

• 上传文件到hdfs文件系统上

hadoop fs -put <linux上文件> <hdfs上的路径>

例如：hadoop fs -put /root/install.log hdfs://zzy:9000/

• 删除hdfs系统文件

hadoop fs -rmr hdfs://zzy:9000/install.log

?

注：如果能正常上传和删除文件说明HDFS没问题。

• 测试Yarn
  • 上传一个文件到HDFS

  hadoop fs -put words.txt hdfs://zzy:9000/

  ?

  • 让Yarn来统计一下文件信息

  cd /$HADOOP_HOME/etc/hadoop/share/hadoop/target/mapreduce/

  #测试命令

  hadoop jar hadoop-mapreduce-examples-2.7.0.jar wordcount /works.txt hdfs://zzy:9000/wc

  ?

  ?

  注：如果能正常生成一个目录，并把统计信息输出到文件夹下，说明Yarn没问题。

搭建Hadoop的伪分布环境

标签：

原文地址：http://www.cnblogs.com/chaoren399/p/4702659.html