标签：
首先在根目录创建一个目录 mkdir /itcast tar -zxvf hadoop-2.4.1.tar.gz -C /itcast/ hadoop的配置文件在：/itcast/hadoop-2.4.1/etc/hadoop下 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件
第一个：修改Hadoop的环境变量 hadoop-env.sh vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个：core-site.xml <configuration> <property><!-- 制定HDFS的老大（NameNode）的地址 --> <name>fs.defaultFS</name> <value>hdfs://itcast01:9000</value> </property> <property><!-- 指定hadoop运行时产生文件的存储目录 --> <name>hadoop.tmp.dir</name> <value>/itcast/hadoop-2.4.1/tmp</value> </property> </configuration>
第三个：hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <property><!-- 指定mr运行在yarn上 --> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
第五个：yarn-site.xml
<property><!-- 指定YARN的老大（ResourceManager）的地址 -->
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
<property><!-- reducer获取数据的方式 -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/itcast/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
格式化只需要一次就行，没有必要每次都格式化，格式化会清除里面的数据 格式化namenode（是对namenode进行初始化） hdfs namenode -format (hadoop namenode -format 过时) 格式化成功的提示中有一行： 16/04/20 05:48:09 INFO common.Storage: Storage directory /itcast/hadoop-2.4.1/tmp/dfs/name has been successfully formatted.
方式一:sbin/start-all.sh （可以使用，但是已经过时了，使用时要不断的输入密码） 方式二:先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh
使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode
http://192.168.8.118:50070 （HDFS管理界面）
http://192.168.8.118:8088 （MR管理界面）
a.测试HDFS
上传文件到hdfs：
hadoop fs -put /root/soft/jdk-7u79-linux-i586.tar.gz /*Linux环境下的文件*/
hdfs://itcast01:9000/jdk /*将hdfs当做一个网盘*/
从hdfs下载文件到本地：
hadoop fs -get hdfs://itcast01:9000/jdk /root/soft/jdk1.7
b.测试MR和YARN
进入：/itcast/hadoop-2.4.1/share/hadoop/mapreduce下运行一个Hadoop自带的例子
hadoop jar
hadoop-mapreduce-examples-2.4.1.jar /*例子*/
wordcount /*统计输入文件的字符并输出到知道那个的文件*/
hdfs://itcast01:9000/worlds /*输入*/
hdfs://itcast01:9000/wcout2 /*输出*/
可以在http://192.168.1.122:50070/explorer.html#/ 中查看生成的文件
标签：
原文地址：http://www.cnblogs.com/chenyansong/p/5513876.html
