前面提到过spark自带的一个最简单的例子，也介绍了SparkContext的部分，这节介绍剩余的内容中的transformation。
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new Spa...
分类：
其他好文 时间：
2015-08-27 21:16:35
阅读次数：
187
首先看一个spark自带的最简单的例子：
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new SparkContext(conf)
val slices = if (args.length >...
分类：
其他好文 时间：
2015-08-26 22:43:23
阅读次数：
337
源码位置：org.apache.spark.deploy.worker.Worker.scala
首先查看worker的main方法，与master类似，创建sparkConf，参数解析，以及构造worker对象并创建ActorRef用于对外或者本身的信息交互。这里masters参数可以设置多个
def main(argStrings: Array[String]) {
Sig...
分类：
其他好文 时间：
2015-08-25 21:54:18
阅读次数：
539
import?org.apache.spark._
import?SparkContext._
import?org.apache.spark.SparkConf
import?java.util.Date
import?java.text.SimpleDateFormat
import?org.apache.hadoop.io.Text
import?org.apache....
分类：
其他好文 时间：
2015-08-18 16:52:02
阅读次数：
143
scala相较于java，代码就精简很多了： import?org.apache.spark._?
import?SparkContext._?
object?SecondarySort?{
??def?main(args:?Array[String])?{
????val?sparkConf?=?new?SparkConf()...
分类：
编程语言 时间：
2015-08-18 14:26:51
阅读次数：
224
1.建立spakTesk项目，建立scala对象Test2.Tesk对象的代码如下package sparkTest/** * Created by jiahong on 15-8-2. */import org.apache.spark.{SparkConf,SparkContext}object...
分类：
其他好文 时间：
2015-08-02 11:44:39
阅读次数：
120
def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("DecisionTree1").setMaster("local[2]") sparkConf.set("es.inde...
分类：
其他好文 时间：
2015-07-30 18:47:41
阅读次数：
176
最近一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo，经过1个多月的研究，终于有点成效。def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setApp...
分类：
其他好文 时间：
2015-07-29 11:58:43
阅读次数：
846
LocalWordCount中，需要首先创建SparkConf配置Master、AppName等环境参数，如果程序中没有设置，则会读取系统参数。然后，以SparkConf作为参数创建SparkContext，初始化Spark环境。 val sparkConf = new SparkConf().se...
分类：
Web程序 时间：
2015-07-17 00:03:09
阅读次数：
306
基于spark1.3.1的源码进行分析
spark master启动源码分析
1、在start-master.sh调用master的main方法，main方法调用
def main(argStrings: Array[String]) {
SignalLogger.register(log)
val conf = new SparkConf
val args =...
分类：
其他好文 时间：
2015-07-11 22:55:30
阅读次数：
489
