Spark算子的作用下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockManager进行...
分类：
其他好文 时间：
2015-07-12 00:21:09
阅读次数：
151
Scala的集合框架类比Java提供了更多的一些方便的api，使得使用scala编程时代码变得非常精简，尤其是在Spark中，很多功能都是由scala的这些api构成的，所以，了解这些方法的使用，将更加有助于我们学习Scala和Spark：List,Map,Set的一些api的用法如下：Java代码...
分类：
其他好文 时间：
2015-07-10 13:06:49
阅读次数：
97
scala集合与java集合类型相互转换：http://www.scala-lang.org/api/current/index.html#scala.collection.JavaConverters$您可以通过JavaConverterspackage轻松地在Java和Scala的集合类型之间转换。它用asScala装饰常用的Java集合以和用asJava方法装饰Scala集合。importscala.c..
分类：
编程语言 时间：
2015-07-02 17:56:45
阅读次数：
577
欢迎加入Scala讨论QQ群212859367，和连乐一起讨论学习！集合主要的集合特质
Seq 是一 个有先后次序的值的序列。比如数组和列表。IndexedSeq允许我们通过整型的下标快速的访问任意元素。
Set 是一组没有先后次序的值。在SortedSet中，元素以某种排过序的顺序被访问。
Map 是一组(键，值)对偶。SortedMap按照键的排序访问其中的实体。
序列
Ve...
分类：
其他好文 时间：
2015-06-19 10:40:06
阅读次数：
139
一天一段scala代码（十三）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
object Example13 extends App{
//可变集合和不可变集合
val iMap = scala.collectio...
分类：
其他好文 时间：
2015-04-03 21:07:19
阅读次数：
147
1. Scala集合学习：http://blog.csdn.net/lyrebing/article/details/203622272.scala实现kmeans算法http://www.thinksaas.cn/group/topic/93852/3. Spark之Scala学习网站http:/...
分类：
其他好文 时间：
2014-11-23 23:09:07
阅读次数：
280
??
5. util包
5.1. 架构
http://www.scala-lang.org/docu/files/collections-api/collections.html
The following figure shows all collections in package scala.collection. These are all high-l...
分类：
其他好文 时间：
2014-10-16 16:35:53
阅读次数：
248
并行化scala集合(Parallelize)//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun) val doublenum = num.map(_*2) //内存缓存数据doublenum.cache() //...
分类：
其他好文 时间：
2014-10-02 22:54:43
阅读次数：
266
