一、统计指定索引的每个值有多少个：vartextFile=sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");varpairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>valdata=x.split("\\|",-1)(67);(data,1)}varresult=pairRdd.reduceByKey((sum,x)=>sum+x)r..
分类：
其他好文 时间：
2017-06-09 10:11:21
阅读次数：
240
摘要 1.使用reduceByKey/aggregateByKey替代groupByKey 2.使用mapPartitions替代普通map 3.使用foreachPartitions替代foreach 4.使用filter之后进行coalesce操作 5.使用rep... ...
分类：
其他好文 时间：
2017-03-03 23:47:42
阅读次数：
394
1.groupByKey的源代码 2.groupByKey的使用缺点 不使用groupByKey的主要原因：在大规模的数据下，数据分布不均匀的情况下，可能导致OOM 3.reduceByKey的源代码 4.使用reduceByKey的youdian 使用reduceByKey函数的主要原因是：red ...
分类：
其他好文 时间：
2017-02-12 15:56:33
阅读次数：
327
groupByKey,reduceByKey,sortByKey算子 视频教程： 1、优酷 2、 YouTube 1、groupByKey groupByKey是对每个key进行合并操作，但只生成一个sequence，groupByKey本身不能自定义操作函数。 java： python： 注意：当 ...
分类：
编程语言 时间：
2017-01-08 18:53:27
阅读次数：
335
0.parallelize 1.map 2.mapValues 3.flatMap 4.mapPartitions 5.mapPartitionsWithIndex 6.filter 7.reduce 8.reduceByKey 9.groupBy 10.groupByKey 11.partitio ...
分类：
其他好文 时间：
2016-11-07 01:38:03
阅读次数：
293
摘要 1.使用reduceByKey/aggregateByKey替代groupByKey 2.使用mapPartitions替代普通map 3.使用foreachPartitions替代foreach 4.使用filter之后进行coalesce操作 5.使用rep... ...
分类：
其他好文 时间：
2016-11-04 01:28:16
阅读次数：
306
一、Spark Streaming 1. 什么是Spark Shuffle Wide Dependencies *ByKey： groupByKey,reduceByKey 关联操作：join，cogroup 窄依赖： 父RDD的每个分区的数据，仅仅只会给子RDD的一个分区。 Spark性能优化： ...
分类：
其他好文 时间：
2016-10-22 14:31:48
阅读次数：
270
1 前言 combineByKey是使用Spark无法避免的一个方法，总会在有意或无意，直接或间接的调用到它。从它的字面上就可以知道，它有聚合的作用，对于这点不想做过多的解释，原因很简单，因为reduceByKey、aggregateByKey、foldByKey等函数都是使用它来实现的。 comb ...
典型的transformation和action ...
分类：
其他好文 时间：
2016-09-27 19:38:14
阅读次数：
152
sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect sc.textFile("README.md").flatMap(line => li ...
分类：
其他好文 时间：
2016-09-25 17:11:44
阅读次数：
154
