RDD源码中隐式转换defdistinct(numPartitions:Int)(implicitord:Ordering[T]=null):RDD[T]=withScope{map(x=>(x,null)).reduceByKey((x,y)=>x,numPartitions).map(_._1)}使用了隐式参数，运行时不需要手动提供参数ord，运行时会根据上下文注入参数defgroupBy[K](f:T=>..
分类：
其他好文 时间：
2016-09-19 13:21:33
阅读次数：
139
1. 初始化Spark 2. 创建RDD的方法 内存：Parallelize 或者 makeRDD 外部文件：textFile 3. 键值对 下面两者等价： reduceByKey 和sortByKey、groupByKey 1）返回key 以及 每个key的个数 （key, cnt) 2）返回 ( ...
分类：
其他好文 时间：
2016-09-13 11:39:22
阅读次数：
147
理解reduceByKey操作，有助于理解Shuffle reduceByKey reduceByKey操作将map中的有相同key的value值进行合并，但是map中的数据键值对，并不一定分布在相同的partition中，甚至相同的机器中。 所以需要将数据取到相同的主机进行计算-同地协作。 单一t ...
分类：
其他好文 时间：
2016-09-04 01:37:09
阅读次数：
183
【译】避免使用GroupByKey Scala Spark 技术 Scala Spark Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文 让我们来看两个wordcount的例子，一个使用了reduceByKey，而另一个使用groupByKey: 12 ...
分类：
其他好文 时间：
2016-08-28 22:21:51
阅读次数：
146
本課課程： Spark源码中的Scala的 implicit 的使用 這個東西意義非常重大，RDD 本身沒有所謂的 Key, Value，只不過是自己本身解讀的時候把它變成 Key Value 的方法去解讀，RDD 本身就是一個 Record。 RDD 本身沒有 reduceByKey，它是用了隐式 ...
分类：
其他好文 时间：
2016-08-08 18:50:58
阅读次数：
123
reduceByKey 函数原型： def reduceByKey(func: (V, V) => V): RDD[(K, V)] def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey( ...
分类：
其他好文 时间：
2016-07-31 00:06:01
阅读次数：
197
val counts = pairs.reduceByKey(_ + _) val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum)) 如果能用reduceByKey，那就用reduceB ...
分类：
其他好文 时间：
2016-07-13 20:25:58
阅读次数：
144
2，wordcount： val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, 1)).reduceByKey(_ + _).map(_.swap).sortByKey().coll ...
分类：
其他好文 时间：
2016-06-21 19:06:06
阅读次数：
171
内容：1、map、filter、flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy级别的，不属于action创建SparkContext是Spark的起点，只有创建SparkContext，才能创建RDD==========map============..
分类：
其他好文 时间：
2016-02-08 17:31:39
阅读次数：
311
今晚听了王家林老师的Spark IMF传奇行动第16课RDD实战，课堂笔记如下：RDD操作类型：Transformation、Action、Contollerreduce要符合交换律和结合律val textLines = lineCount.reduceByKey(_+_,1)textLines.c...
分类：
其他好文 时间：
2016-01-21 01:47:53
阅读次数：
153
