Scala集合 Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。 Scala 集合分为可变的和不可变的集合。 可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种 ...
分类：
其他好文 时间：
2018-08-11 19:35:12
阅读次数：
170
对scala中的集合类虽然有使用，但是一直处于一知半解的状态。尤其是与java中各种集合类的混合使用，虽然用过很多次，但是一直也没有做比较深入的了解与分析。正好趁着最近项目的需要，加上稍微有点时间，特意多花了一点时间对scala中的集合类做个详细的总结。 1.数组Array 在说集合类之前，先看看s ...
分类：
其他好文 时间：
2018-07-08 21:15:50
阅读次数：
206
1.RDD的创建 1.1 从一个本地的Scala集合创建 1.2 从一个外部的存储系统中创建 这里外部系统,指的是任何Hadoop(InputFormat)支持的存储系统.比如本地文本文件,HDFS,HBase,S3等等 1.2.1 textFile 1.2.2 wholeTextFiles who ...
分类：
其他好文 时间：
2018-06-29 23:31:07
阅读次数：
195
高级类类型就是使用其他类型构造成为一个新的类型，因此也称为 类型构造器(type constructors)。它的语法和高阶函数(higher-order functions)相似，高阶函数就是将其它函数作为参数的函数；高级类类型则是将构造类类型作为参数类型。一个高级类类型可以有一个或者多个类型作为 ...
分类：
其他好文 时间：
2018-06-08 15:46:46
阅读次数：
176
1、数组 Array可以定义不可变数组，这里的不可变指的是长度不可变 可以指定数组的具体类型，也可以不指定，Scala会自行判定 遍历数组 转换为ArrayBuffer ArrayBuffer ArrayBuffer是可变数组，使用前需要显示导入包 +=在尾端添加元素 在尾端添加多个元素 ++=操作 ...
分类：
其他好文 时间：
2018-02-08 20:19:54
阅读次数：
323
import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; im... ...
分类：
编程语言 时间：
2017-11-28 15:42:44
阅读次数：
350
Scala列表 Scala列表与数组非常相似，列表的所有元素都具有相同的类型，但有两个重要的区别。 首先，列表是不可变的，列表的元素不能通过赋值来更改。 其次，列表表示一个链表，而数组是平的。 具有类型T的元素的列表的类型被写为List[T]。 尝试以下示例，这里列出了为各种数据类型定义的列表。 S ...
分类：
其他好文 时间：
2017-10-25 14:19:21
阅读次数：
215
来自官网的Spark Programming Guide，包括个人理解的东西。 RDD是spark中最重要的抽象概念（数据结构），是集群中各节点上并行处理的分隔元素的集合（汇总），总会用到collect（）方法。 RDD可以从Hadoop文件系统中的文件创建，也可以从执行程序中的Scala集合中创建 ...
分类：
其他好文 时间：
2017-10-13 15:22:37
阅读次数：
283
创建RDD 有两种方式 1 通过hdfs支持的文件系统创建 RDD, RDD里面没有真正要计算的数据，只记录了一下元数据 2 从过scala集合或者数组以并行化的方式创建RDD collect 把结果收集起来放到 scala数组里面 reduce 汇聚 方法传进去 count rdd有多少元素 to ...
分类：
其他好文 时间：
2017-09-16 18:56:19
阅读次数：
141
