码迷,mamicode.com
首页 > 其他好文 > 详细

MR程序本地调试,提交到集群运行

时间:2018-12-20 14:20:34      阅读:210      评论:0      收藏:0      [点我收藏+]

标签:ado   BMI   orm   code   jar包   集群   property   set   ati   

在本地调试,提交到集群上运行。

在本地程序中的Configuration中添加如下配置:

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000");

System.setProperty("HADOOP_USER_NAME","hadoop");

conf.set("mapreduce.job.jar", "D:\\qf_exam\\target\\qf_exam-1.0-SNAPSHOT.jar");         // 此处填写你的jar包地址

conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "http://hadoop03:8032");
conf.set("yarn.resourcemanager.scheduler.address","http://hadoop03:8030");
conf.set("mapreduce.app-submission.cross-platform", "true");//允许跨平台提交jar包

  这样就可以了。

  注意:要把程序给打成jar包,然后把jar包地址写道conf中。

  设置允许跨平台提交jar包

MR程序本地调试,提交到集群运行

标签:ado   BMI   orm   code   jar包   集群   property   set   ati   

原文地址:https://www.cnblogs.com/dongxiucai/p/10148599.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!