码迷,mamicode.com
首页 > 其他好文 > 详细

spark on yarn实例练习

时间:2017-12-30 19:03:14      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:cut   cli   park   blog   .com   1.0   jar   hdf   client模式   

1、spark on yarn作业提交(yarn-client模式)

bin/spark-submit \
--class dajiangtai.averageAge \
--master yarn-client \
--num-executors 1 \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
lib/wordcount-1.0-SNAPSHOT.jar \
hdfs://192.168.101.128:9000/test/age.txt \
hdfs://192.168.101.128:9000/test/result1

2、求平均年龄

技术分享图片技术分享图片

技术分享图片

3、求男女最大身高

技术分享图片技术分享图片

技术分享图片

4、寻找搜索频率最高的K个关键词(注意case用法)

技术分享图片技术分享图片

技术分享图片

spark on yarn实例练习

标签:cut   cli   park   blog   .com   1.0   jar   hdf   client模式   

原文地址:https://www.cnblogs.com/VillageKnight-Ding/p/8150545.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!