Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.
分类：
其他好文 时间：
2015-12-16 12:49:23
阅读次数：
148
在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD
分类：
其他好文 时间：
2015-12-16 12:48:44
阅读次数：
157
IDEA开发WordCount（Spark）报错WordCount{
}
WordCount{
(args:Array[]){
hadoopAddr=conf=SparkConf().setAppName()
sc=SparkContext(conf)
mapRdd=sc.textFile(hadoopAddr)
result=mapRdd.flatMap(_.split()).map((_)).reduceByKey(_+_).collect()
}
}UsingSpark‘sdefault..
分类：
其他好文 时间：
2015-12-09 07:24:18
阅读次数：
232
1.PairRDD介绍 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为PairRDD。PairRDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如，PairRDD提供了reduceByKey()方法，可以分别规约每个键对应的数据，还有join()方法，可以把两...
分类：
其他好文 时间：
2015-12-07 20:57:08
阅读次数：
534
sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(_+_).foreach(println)不使用reduceByKeysc.textFile("hdfs://....").fl...
分类：
其他好文 时间：
2015-10-22 00:23:28
阅读次数：
195
今天学习了下scala中的链式调用风格的实现，在spark编程中，我们经常会看到如下一段代码：sc.textFile("hdfs://......").flatMap(_.split(" ")).map(_,1).reduceByKey(_ + _)........这种风格的编程方法叫做链式调用，它...
分类：
其他好文 时间：
2015-09-08 21:55:50
阅读次数：
142
采用Apache版本spark1.2.1时没有出现乱码，但spark-1.1.0-cdh5.2.1版本中，在分布处理的map函数里对数据进行打印输出进行debug时valrs=rdd.filter(e=>{val(lable,text)=(e._2(2),e._2(3));m.filterItem(lable,text)})
.reduceByKey((x,y)=>m.merge(x,y))
.map{case(x,y)=..
分类：
其他好文 时间：
2015-06-05 17:58:49
阅读次数：
181
以一个简单的WordCount代码为例sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_,1).reduceByKey(_+_).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).saveAsTextFile("hdfs://....")以上代码的作用是读取指定位置的文件，...
分类：
其他好文 时间：
2015-05-15 09:08:38
阅读次数：
304
经常写代码的时候发现rdd没有reduceByKey的方法，这个发生在spark1.2及其以前对版本，因为rdd本身不存在reduceByKey的方法，需要隐式转换成PairRDDFunctions才能访问，因此需要引入Import org.apache.spark.SparkContext._。不...
分类：
其他好文 时间：
2015-05-05 18:28:37
阅读次数：
325
1.实例描述输入为一批文件，文件内容格式如下：Id1TheSpark……Id2TheHadoop……输出如下：（单词，文档ID合并字符串）TheId1Id2HadoopId2……2.设计思路先读取所有文件，数据项为(文档ID，文档词集合)的RDD，然后将数据映射为（词，文档ID）的RDD，去重，最后在reduceByKey阶..
分类：
其他好文 时间：
2015-03-04 11:21:07
阅读次数：
161
