只作为我个人笔记，没有过多解释 Transfor map filter filter之后，依然有三个分区，第二个分区为空，但不会消失 flatMap reduceByKey groupByKey() sortByKey() mapValues(_ + 1) mapvalues是忽略掉key，只把va ...
分类：
其他好文 时间：
2017-08-10 23:36:42
阅读次数：
314
常用transformation 注：某些函数只有PairRDD只有，而普通的RDD则没有，比如gropuByKey、reduceByKey、sortByKey、join、cogroup等函数要根据Key进行分组或直接操作 RDD[U] map(f: T => U) T：原RDD中元素类型 U：新R... ...
分类：
其他好文 时间：
2017-07-31 13:22:38
阅读次数：
349
1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey、sortBy：将学生分数进行排序7、join：打印每个学生的成绩8、cogr... ...
分类：
其他好文 时间：
2017-07-28 19:24:39
阅读次数：
150
数据去重，key只输出一次 scala实现：先groupByKey(),然后SortByKey(),然后输出keys ...
分类：
其他好文 时间：
2017-06-03 11:16:29
阅读次数：
189
groupByKey,reduceByKey,sortByKey算子 视频教程： 1、优酷 2、 YouTube 1、groupByKey groupByKey是对每个key进行合并操作，但只生成一个sequence，groupByKey本身不能自定义操作函数。 java： python： 注意：当 ...
分类：
编程语言 时间：
2017-01-08 18:53:27
阅读次数：
335
1. 初始化Spark 2. 创建RDD的方法 内存：Parallelize 或者 makeRDD 外部文件：textFile 3. 键值对 下面两者等价： reduceByKey 和sortByKey、groupByKey 1）返回key 以及 每个key的个数 （key, cnt) 2）返回 ( ...
分类：
其他好文 时间：
2016-09-13 11:39:22
阅读次数：
147
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]) 但是为什么没有执行comb呢？ sortByKey([ascending], [numTasks]) sortBy(func,[ascending], [numTasks]) join(othe ...
分类：
其他好文 时间：
2016-09-03 13:34:11
阅读次数：
248
在spark中，原始的sortByKey是以map为操作对象，按照key进行排序，value跟随 如果我们要设置多维排序，就需要自定义这个key对象 该class需要 extends Ordered[T] with Serializable , 然后将这个类的对象作为sortByKey的第一个key ...
分类：
编程语言 时间：
2016-07-13 19:59:53
阅读次数：
403
2，wordcount： val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).map(_.swap).sortByKey().coll ...
分类：
其他好文 时间：
2016-06-21 19:06:06
阅读次数：
171
（6）transformation 操作，通过外在的不同RDD表现形式来达到内部数据的处理过程。这类操作并不会触发作业的执行，也常被称为lazy操作。 大部分操作会生成并返回一个新的RDD，例sortByKey就不会产生一个新的RDD。 1) map函数，一行数据经过map函数处理后还是一行数据 /...
分类：
其他好文 时间：
2016-03-10 23:45:16
阅读次数：
468
