码迷,mamicode.com
首页 > 编程语言 > 详细

【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任务的区别

时间:2015-03-12 11:26:19      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:

eclipse中的 调试运行 及 “run on hadoop”默认只是运行在单机上的,因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程,

一个简单的“run on hadoop”只是启动了本地hadoop类库来运行你的程序而已,

在Hadoop cluster的web管理页面(http://192.168.2.2:8088/cluster/apps)上是看不到任何作业信息的,因为你的作业根本就没有运行在集群上。

 

打包成jar方法:

  rm tmp/*

  cp xmlparser_hadoop* tmp/

  jar -cvf xmlparser_hadoop.jar -C tmp/ .

运行方法:

    hadoop:/usr/local/hadoop-2.6.0$ bin/hadoop jar xmlparser_hadoop.jar xmlparser_hadoop hdfs://192.168.2.2:9000/user/input hdfs://192.168.2.2:9000/user/output/xmlparser

附录:

如何让你的作业在Hadoop集群中真正实现分布式运行

http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html

 

【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任务的区别

标签:

原文地址:http://www.cnblogs.com/scw2901/p/4331716.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!