scala集合转化为DS/DF 输出结果： 参考资料： https://stackoverflow.com/questions/39397652/convert-scala-list-to-dataframe-or-dataset ...
分类：
其他好文 时间：
2017-08-17 14:29:44
阅读次数：
2863
本质上在Actions算子中通过SparkContext运行提交作业的runJob操作，触发了RDD DAG的运行。 依据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每一个元素都应用f函数操作，不返回RD ...
分类：
其他好文 时间：
2017-07-21 18:17:34
阅读次数：
257
1. scala 的列表List 和集Set 的操作 2. 集合的函数组合子（Functional Combinators） map map对列表中的每个元素应用一个函数，返回应用后的元素所组成的列表。 foreach foreach很像map，但没有返回值。foreach仅用于有副作用[side- ...
分类：
其他好文 时间：
2017-07-05 15:53:17
阅读次数：
187
/* * spark算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 * spark算子的作用： * 1.输入：在spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入scala集合或数据）输入spark， * 数据进入s... ...
分类：
其他好文 时间：
2017-02-04 18:18:49
阅读次数：
328
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每个元素都应用f函数操作，不返回RDD ...
分类：
其他好文 时间：
2017-01-20 21:54:42
阅读次数：
264
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 用Scala编码的时候，经常会遇到scala集合和Java集合互相转换的case,特意mark一下，加深记忆 ...
分类：
编程语言 时间：
2016-12-30 16:57:32
阅读次数：
940
今天，我们来进入spark学习的第二章，发现有很多事都已经开始变化，生活没有简单的朝自己想去的方向，但是还是需要努力呀，不说鸡汤之类的话了， 开始我们今天的spark的旅程 一.RDD是什么 rdd的中文解释为弹性分布式数据集,全称Resilient Distributed Datases,即内存中 ...
分类：
其他好文 时间：
2016-12-28 07:38:11
阅读次数：
161
RDD的创建 两种方式来创建RDD： 1）由一个已经存在的Scala集合创建 2）由外部存储系统的数据集创建，包括本地文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase、Amazon S3等。 RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性 ...
分类：
Web程序 时间：
2016-07-31 20:45:10
阅读次数：
254
Scala有一个非常通用，丰富，强大，可组合的集合库；集合是高阶的(high level)并暴露了一大套操作方法。很多集合的处理和转换可以被表达的简洁又可读，但不审慎地用它们的功能也会导致相反的结果。每个Scala程序员应该阅读 集合设计文档；通过它可以很好地洞察集合库，并了解设计动机。1.数组（A...
分类：
其他好文 时间：
2015-08-11 15:49:29
阅读次数：
190
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。
根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。
图中，foreach算子通过用户自定义函数对每个数据项进行操作。...
分类：
其他好文 时间：
2015-07-12 11:10:23
阅读次数：
199
