执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.socketTextStream("localhost", 9999)这样从socket接收文本数据。这个步骤...
分类：
其他好文 时间：
2015-03-19 16:25:47
阅读次数：
155
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.sp...
分类：
Web程序 时间：
2015-03-14 16:54:22
阅读次数：
141
首先创建SparkContext上下文： 接着引入隐身转换，用于把RDD转成SchemaRDD: 接下来定义一个case class 来用于描述和存储SQL表中的每一行数据： 接下来要加载数据，这里的测试数据是user.txt文件： 我们创建好use...
分类：
数据库 时间：
2015-03-02 19:26:20
阅读次数：
264
首先创建SparkContext上下文：
接着引入隐身转换，用于把RDD转成SchemaRDD:
接下来定义一个case class 来用于描述和存储SQL表中的每一行数据：
接下来要加载数据，这里的测试数据是user.txt文件：
我们创建好use.txt增加内容并上传到hdfs中：
web控制台查询：
hdfs命令查询：
加...
分类：
数据库 时间：
2015-03-02 19:08:17
阅读次数：
222
创建一个Scala IDEA工程：
点击“Next”：
点击“Finish”完成工程的创建：
修改项目的属性：
首先修改Modules选项：
在src下创建两个文件夹，并把其属性改为source：
再修改Libraries：
因为要开发Spark程序，所以需要把Spark的开发需要的jar包导...
SparkContext 是spark的程序入口，相当于熟悉的‘main’函数。它负责链接spark集群、创建RDD、创建累加计数器、创建广播变量。/** * Main entry point for Spark functionality. A SparkContext represents th...
分类：
其他好文 时间：
2015-01-23 06:09:39
阅读次数：
1394
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类：
其他好文 时间：
2015-01-20 23:59:25
阅读次数：
500
SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：
进入createTaskScheduler方法：
spark内核揭秘-05-SparkContext核心源码解析初体验
我们看一下其Standalone的方式：
在上述代码中首先实例化一个TaskSchedulerImpl：
然后构建出了masterUrls：
接着创建出了非常关键的backend：...
分类：
其他好文 时间：
2015-01-19 15:47:44
阅读次数：
169
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
*/
object FoldByKey {
def main(args: Array[String]) {
val conf = new SparkConf(...
分类：
数据库 时间：
2015-01-19 00:19:50
阅读次数：
782
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
*/
object FlatMapValues {
def main(args: Array[String]) {
val conf = new SparkC...
分类：
其他好文 时间：
2015-01-18 22:43:54
阅读次数：
384
