原文：http://www.tuicool.com/articles/r22YBrRDDRDD初始参数：上下文和一组依赖abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient...
分类：
其他好文 时间：
2014-12-17 18:01:48
阅读次数：
249
开发注意事项版本: spark 1.1.1 , hadoop 2.4.0, hbase 0.98.3Guide：官网说明或者 博客园内转载1.Spark 1.1.1 uses Scala 2.10. To write applications in Scala, you will need to u...
分类：
其他好文 时间：
2014-12-17 17:49:06
阅读次数：
132
From apacheAdvanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEOSpark SQL – Michael Armburst –SLIDES|VIDEOSpark Streaming – Tathagata Das –S...
分类：
其他好文 时间：
2014-12-17 12:33:45
阅读次数：
174
1.scala解释器安装过程类似jdk安装，需要先安装JDK，然后下载安装scala，配置PATH环境变量。2.在win环境使用win+R运行cmd，调出命令窗口，执行标注命令①scala支持Tab命令自动补全②scala支持类型自动判定C:\Users\martin>scalaWelcometoScalaversion2.11.4(JavaHotSpot(TM)..
分类：
其他好文 时间：
2014-12-17 06:54:54
阅读次数：
208
大数据Scala编程.问题集(03)by高焕堂洞庭国际智能硬件检测基地&中云大数据中心(IDC)首席架构师微博：@高焕堂_台北Q-03：如何从TemplateMethod设计模式理解trait的两项接口?Answer：Scala的trait就是接口类(Interfaceclass)，其意味着，它的结构是抽象类，但其扮演接口的角..
分类：
其他好文 时间：
2014-12-17 06:51:08
阅读次数：
248
三、你为什么需要Spark；你需要Spark的十大理由：1，Spark是可以革命Hadoop的目前唯一替代者，能够做Hadoop做的一切事情，同时速度比Hadoop快了100倍以上：LogisticregressioninHadoopandSpark可以看出在Spark特别擅长的领域其速度比Hado...
分类：
其他好文 时间：
2014-12-17 00:03:54
阅读次数：
214
三、你为什么需要Spark； 你需要Spark的十大理由： 1，Spark是可以革命Hadoop的目前唯一替代者，能够做Hadoop做的一切事情，同时速度比Hadoop快了100倍以上： ? Logistic?regression?in?Hadoop?and?Spark 可...
分类：
其他好文 时间：
2014-12-16 22:48:46
阅读次数：
235
csvMap.get(row) match
{
case Some(y:Map[String, String]) => y.get(list)
case None => None
}
csvMap的数据类型是：Map[String, Map[String, String]]
现在我想实现通过row和list关键字，提取出来对应的String。
我首先使...
分类：
其他好文 时间：
2014-12-16 17:15:05
阅读次数：
187
假设我们有一个表示文本的行数的类LineNumber：class LineNumber ( val num : Int ) 我们可以用这个类来表示一本书中每一页的行数：val lineNumOfPage1 = new LineNumber(112)val lineNumOfPage2 = new L...
分类：
其他好文 时间：
2014-12-16 13:23:43
阅读次数：
216
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this....
分类：
其他好文 时间：
2014-12-16 13:10:13
阅读次数：
503
