性能优化参数 针对Spark SQL 性能调优参数如下： 代码示例 import?java.util.List;
import?org.apache.spark.SparkConf;
import?org.apache.spark.api.java.JavaSparkContext;
import?org.apache.spark.sql....
分类：
数据库 时间：
2015-06-17 18:38:35
阅读次数：
475
本文测试的Spark版本是1.3.1Spark Streaming编程模型：第一步：
需要一个StreamingContext对象，该对象是Spark Streaming操作的入口 ，而构建一个StreamingContext对象需要两个参数：
1、SparkConf对象：该对象是配置Spark 程序设置的，例如集群的Master节点，程序名等信息
2、Seconds对象：该对象设置了Str...
this code will count the number of words in a text file.package geo1.op1;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRD...
分类：
其他好文 时间：
2015-02-11 12:24:08
阅读次数：
139
创建一个Scala IDEA工程：
点击“Next”：
点击“Finish”完成工程的创建：
修改项目的属性：
首先修改Modules选项：
在src下创建两个文件夹，并把其属性改为source：
再修改Libraries：
因为要开发Spark程序，所以需要把Spark的开发需要的jar包导...
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类：
其他好文 时间：
2015-01-20 23:59:25
阅读次数：
500
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
*/
object FoldByKey {
def main(args: Array[String]) {
val conf = new SparkConf(...
分类：
数据库 时间：
2015-01-19 00:19:50
阅读次数：
782
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
*/
object FlatMapValues {
def main(args: Array[String]) {
val conf = new SparkC...
分类：
其他好文 时间：
2015-01-18 22:43:54
阅读次数：
384
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
* 计算出每个key对应的value的数量
*/
object CountByKey {
def main(args: Array[String]) {
v...
分类：
其他好文 时间：
2015-01-18 15:48:22
阅读次数：
251
package com.latrobe.spark
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by spark on 15-1-18.
* countApproxDistinct : RDD的一个方法，作用是对RDD集合内容进行去重统计。
* 该统计是一个大约的统计，参数relativeSD控制统计的精...
分类：
移动开发 时间：
2015-01-18 15:47:14
阅读次数：
194
WordCount.Scala代码如下：package com.husor.Spark/** * Created by huxiu on 2014/11/26. */import org.apache.spark.{SparkContext, SparkConf}import org.apache....
