标签：example ima 添加 div wordcount reduce -- 任务 res
备注：此处的hadoop版本是3.1.4
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>k8smaster</value>
</property>
备注：k8smaster在hosts文件中需要指定为具体ip，不然在宿主机访问不到。
mv mapred-site.xml.template mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
注意：启动前必须保证NameNode和DataNode已经启动
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
http://k8smaster:8088/
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount /home/yzh/hadoop/user/input /home/yzh/hadoop/user/output
此处wordcount后面的路径都是hdfs文件系统路径。
如果需要删除hdfs文件系统的路径，则执行下面的命令
hdfs dfs -rm -r /home/yzh/hadoop/user/output
解决：在命令行输入：hadoop classpath
把上述输出的值添加到yarn-site.xml文件对应的属性 yarn.application.classpath下面，eg：
<property>
<name>yarn.application.classpath</name>
<value>具体的hadoop classpath</value>
</property>
mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改) <property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
修改配置文件之后都要重启resourcemanager和nodemanager
标签：example ima 添加 div wordcount reduce -- 任务 res
原文地址：https://www.cnblogs.com/cq-yangzhou/p/14355282.html
