码迷,mamicode.com
首页 > 其他好文 > 详细

关于大数据领域各个组件打包部署到集群运行的总结(含手动和maven)(博主推荐)

时间:2018-05-31 13:19:10      阅读:242      评论:0      收藏:0      [点我收藏+]

标签:www   title   成功   eclipse   logs   inf   复制   简单   大数据   

对于这里的打包,总结:

  (1)     最简单的,也是为了适应公司里,还是要用maven,当然spark那边sbt,maven都可以。但是maven居多。

Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序?(企业级水平)

IDEA里如何多种方式打jar包,然后上传到集群

Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)(包含Java和Scala版的WordCount)(博主强烈推荐)

 

 

 

  (2)     将整个项目打jar包进去,只需指定想要的类即可。比如你直接打成一个总的jar包,如guangdiang.jar。

[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR

 

  (3)     直接将你想要的类打成jar包即可,比如guangdiangACCR.jar。

技术分享图片
技术分享图片
[hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR


或


[hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
技术分享图片
技术分享图片

 

   比如guangdiangACPR.jar。

技术分享图片
技术分享图片
[hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR

或 [hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating hdfs://master:9000/tv-out-ECN/part-r-00000 hdfs://master:9000/tv-out-EPAARN/part-r-00000 hdfs://master:9000/tv-out-ACPR
技术分享图片
技术分享图片

 

 

 

   

技术分享图片

技术分享图片

 

 

技术分享图片

 

 

 

技术分享图片

 

   成功!

关于大数据领域各个组件打包部署到集群运行的总结(含手动和maven)(博主推荐)

标签:www   title   成功   eclipse   logs   inf   复制   简单   大数据   

原文地址:https://www.cnblogs.com/wangsongbai/p/9116116.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!