关于SQL和Hadoop的实现参考这里 MapReduce编程-自连接
这里用相同的原理，使用spark实现。本人也是刚学Scala，可能写的不好，还请指正。
object SelfUion {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("SelfUnion")
val sc ...
分类：
其他好文 时间：
2014-11-25 23:51:43
阅读次数：
303
1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用...
分类：
其他好文 时间：
2014-10-14 00:50:57
阅读次数：
423
这一章要讲Spark Streaming，讲之前首先回顾下它的用法，具体用法请参照《Spark Streaming编程指南》。Example代码分析val ssc = new StreamingContext(sparkConf, Seconds(1));// 获得一个DStream负责连接 监听端...
分类：
其他好文 时间：
2014-07-22 08:01:34
阅读次数：
351
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
1：Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置：
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，...
分类：
其他好文 时间：
2014-06-10 14:47:43
阅读次数：
280
