以一个简单的WordCount代码为例sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_,1).reduceByKey(_+_).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).saveAsTextFile("hdfs://....")以上代码的作用是读取指定位置的文件，...
分类：
其他好文 时间：
2015-05-15 09:08:38
阅读次数：
304
创建一个Scala IDEA工程：
点击“Next”：
点击“Finish”完成工程的创建：
修改项目的属性：
首先修改Modules选项：
在src下创建两个文件夹，并把其属性改为source：
再修改Libraries：
因为要开发Spark程序，所以需要把Spark的开发需要的jar包导...
Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序...
分类：
编程语言 时间：
2015-01-23 18:30:06
阅读次数：
267
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类：
其他好文 时间：
2015-01-20 23:59:25
阅读次数：
500
