从前一篇文章中的wordcount的输出结果可以看出来结果是未经排序的，如何对spark的输出结果进行排序呢？ 先对reduceByKey的结果进行key,value位置置换（数字，字符），然后再进行数字排序，再将key，value位置置换...
分类：
编程语言 时间：
2015-01-29 14:48:39
阅读次数：
142
Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序...
分类：
编程语言 时间：
2015-01-23 18:30:06
阅读次数：
267
今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
分类：
其他好文 时间：
2014-11-06 19:08:13
阅读次数：
1293
使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s....
分类：
其他好文 时间：
2014-10-31 23:30:55
阅读次数：
326
ShuffleMapTask的计算结果保存在哪，随后Stage中的task又是如何知道从哪里去读取的呢，reduceByKey(_ + _)中的combine计算发生在什么地方，本文将为你一一揭晓。
分类：
其他好文 时间：
2014-07-24 14:41:35
阅读次数：
308
