码迷,mamicode.com
首页 > 其他好文 > 详细

启动YARN并运行MapReduce程序

时间:2021-02-02 10:48:15      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:example   ima   添加   div   wordcount   reduce   --   任务   res   

备注:此处的hadoop版本是3.1.4

一、配置集群

1.1、配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
       <name>yarn.resourcemanager.hostname</name>
       <value>k8smaster</value>
</property>

备注:k8smaster在hosts文件中需要指定为具体ip,不然在宿主机访问不到。

1.2、配置mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

二、启动集群

注意:启动前必须保证NameNode和DataNode已经启动

2.1、启动ResourceManager

yarn --daemon start resourcemanager

2.2、启动NodeManager

yarn --daemon start nodemanager

2.3、查看时启动成功

技术图片

 2.4、web页面访问

http://k8smaster:8088/

技术图片

 2.5、测试wordcount

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount /home/yzh/hadoop/user/input /home/yzh/hadoop/user/output

此处wordcount后面的路径都是hdfs文件系统路径。

如果需要删除hdfs文件系统的路径,则执行下面的命令

hdfs dfs -rm -r /home/yzh/hadoop/user/output

2.6、遇到的问题

 技术图片

 解决:在命令行输入:hadoop classpath

技术图片

 把上述输出的值添加到yarn-site.xml文件对应的属性 yarn.application.classpath下面,eg:

   <property>
        <name>yarn.application.classpath</name>
        <value>具体的hadoop classpath</value>
</property>

  技术图片

mapred-site.xml中设置map和reduce任务的内存配置如下:(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
   </property>
   <property>
       <name>mapreduce.map.java.opts</name>
       <value>-Xmx1024M</value>
   </property>
   <property>
     <name>mapreduce.reduce.memory.mb</name>
     <value>3072</value>
   </property>
  <property>
   <name>mapreduce.reduce.java.opts</name>
   <value>-Xmx2560M</value>
 </property>

修改配置文件之后都要重启resourcemanager和nodemanager

2.7、查看结果

技术图片

 

启动YARN并运行MapReduce程序

标签:example   ima   添加   div   wordcount   reduce   --   任务   res   

原文地址:https://www.cnblogs.com/cq-yangzhou/p/14355282.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!