码迷,mamicode.com
首页 > 其他好文 > 详细

启动YARN并运行MapReduce程序(伪分布式模式)

时间:2020-10-27 11:36:17      阅读:28      评论:0      收藏:0      [点我收藏+]

标签:方式   程序   伪分布式   启动   namenode   example   lte   echo   数据   

配置集群

配置yarn-env.sh

Linux系统中获取JDK的安装路径

[xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144

修改JAVA_HOME路径

[xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

配置mapred-env.sh

Linux系统中获取JDK的安装路径

[xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144

修改JAVA_HOME路径

[xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置(对mapred-site.xml.template重命名为)mapred-site.xml

[xiaoran@hadoop101 hadoop-2.7.2]$ mv mapred-site.xml.template mapred-site.xml
[xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

启动集群

启动前必须保证 namenode 和 datanode 已经启动

启动 ResourceManager

[xiaoran@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

启动 NodeManager

[xiaoran@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

集群操作

[xiaoran@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/xiaoran/input /user/xiaoran/output

注意:文件 /user/xiaoran/output 事先不能存在

启动YARN并运行MapReduce程序(伪分布式模式)

标签:方式   程序   伪分布式   启动   namenode   example   lte   echo   数据   

原文地址:https://www.cnblogs.com/xiaoran991/p/13881415.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!