reduceByKey函数ＡＰＩ： 该函数利用映射函数将每个K对应的V进行运算。 其中参数说明如下： - func：映射函数，根据需求自定义； - partitioner：分区函数； - numPartitions：分区数，默认的分区函数是HashPartitioner。 返回值：可以看出最终是返回 ...
分类：
其他好文 时间：
2017-10-28 22:05:41
阅读次数：
1156
通过分析reduceByKey和groupByKey的源码，发现两个算子都使用了combineByKey这个算子，那么现在来分析一下combineByKey算子。 在combineByKey函数中包含 createCombiner、mergeValue、mergeCombiners函数 create ...
分类：
其他好文 时间：
2017-10-05 23:40:38
阅读次数：
455
先来看一下在reduceByKey和groupByKey的源码,在PairRDDFunctions.scala文件中 /** * Merge the values for each key using an associative reduce function. This will also pe... ...
分类：
其他好文 时间：
2017-10-04 14:20:48
阅读次数：
224
一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 二. 数据倾斜的原因 常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。 数据问题 spark使用问题 三. 数据倾斜的后果 一个理 ...
分类：
其他好文 时间：
2017-09-29 14:02:57
阅读次数：
157
parallelized,lazily transform,cache(),actions 算子 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。数据转化为Spark中的数据块，通过BlockManager进行管理。 KEY-VALUE reduceByKey(func)=>(k,v) ...
分类：
其他好文 时间：
2017-09-27 00:47:56
阅读次数：
149
别的不说先上官网： action 这些算子中需要注意： 1、reduce 和 reduceByKey 虽说都有reduce，但是一个是action级别，一个是transformation级别，速度上会有很大的差异 2、groupBy的使用如下 groupBy ：将元素通过函数生成相应的 Key，数据 ...
分类：
其他好文 时间：
2017-09-15 16:33:42
阅读次数：
222
只作为我个人笔记，没有过多解释 Transfor map filter filter之后，依然有三个分区，第二个分区为空，但不会消失 flatMap reduceByKey groupByKey() sortByKey() mapValues(_ + 1) mapvalues是忽略掉key，只把va ...
分类：
其他好文 时间：
2017-08-10 23:36:42
阅读次数：
314
1，如果写sql语句能实现的操作，最好就不要用dataframe了；spark会自己做优化，性能和稳定性都会比较高 2，中间过程存成parquet文件而不是HIVE表 3，能用reduceByKey就不要用groupByKey 4，在数据量很大或者存在倾斜的时候，可以考虑先repartition后在 ...
分类：
其他好文 时间：
2017-08-03 00:53:49
阅读次数：
221
常用transformation 注：某些函数只有PairRDD只有，而普通的RDD则没有，比如gropuByKey、reduceByKey、sortByKey、join、cogroup等函数要根据Key进行分组或直接操作 RDD[U] map(f: T => U) T：原RDD中元素类型 U：新R... ...
分类：
其他好文 时间：
2017-07-31 13:22:38
阅读次数：
349
1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey、sortBy：将学生分数进行排序7、join：打印每个学生的成绩8、cogr... ...
分类：
其他好文 时间：
2017-07-28 19:24:39
阅读次数：
150
