码迷,mamicode.com
首页 > 其他好文 > 详细

spark

时间:2019-11-12 23:11:45      阅读:113      评论:0      收藏:0      [点我收藏+]

标签:hello   col   and   wordcount   atm   mit   ota   exe   examples   

计算圆周率

# bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.3.3.jar 100  

wordcount

sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect  

输出

res3: Array[(String, Int)] = Array((scala,2), ("",1), (object,1), (is,1), (python,3), (hello,4), (java,3), (go,1), (and,1))  

 

spark

标签:hello   col   and   wordcount   atm   mit   ota   exe   examples   

原文地址:https://www.cnblogs.com/snow-wolf-1/p/11846059.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!