package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
* 计算出每个key对应的value的数量
*/
object CountByKey {
def main(args: Array[String]) {
v...
分类：
其他好文 时间：
2015-01-18 15:48:22
阅读次数：
251
package com.latrobe.spark
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by spark on 15-1-18.
* countApproxDistinct : RDD的一个方法，作用是对RDD集合内容进行去重统计。
* 该统计是一个大约的统计，参数relativeSD控制统计的精...
分类：
移动开发 时间：
2015-01-18 15:47:14
阅读次数：
194
原文：http://www.tuicool.com/articles/r22YBrRDDRDD初始参数：上下文和一组依赖abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient...
分类：
其他好文 时间：
2014-12-17 18:01:48
阅读次数：
249
1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW...
分类：
其他好文 时间：
2014-12-11 23:56:29
阅读次数：
255
1. rdd action ->sparkContext.runJob->dagscheduler.runJob 1 def runJob[T, U: ClassTag]( 2 rdd: RDD[T], 3 func: (TaskContext, Iterator[T])...
分类：
其他好文 时间：
2014-12-11 22:16:37
阅读次数：
442
1、代码编写if (args.length != 3 ){ println("usage is org.test.WordCount ") return } val sc = new SparkContext(args(0), "WordCount", System.getenv("S...
分类：
系统相关 时间：
2014-11-27 12:38:19
阅读次数：
224
WordCount.Scala代码如下：package com.husor.Spark/** * Created by huxiu on 2014/11/26. */import org.apache.spark.{SparkContext, SparkConf}import org.apache....
略微了解Spark源代码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，很多大牛也在源代码分析的文章中对其做了非常多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。Spa...
分类：
Web程序 时间：
2014-10-16 20:33:13
阅读次数：
271
1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用...
分类：
其他好文 时间：
2014-10-14 00:50:57
阅读次数：
423
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 ? Q1：AppClient和worker、master之间的关系是什么？ :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器...
分类：
其他好文 时间：
2014-10-08 23:23:57
阅读次数：
335
