大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
Spark提供的主要抽象是resilient distributed dataset（RDD） 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 ...
分类：
编程语言 时间：
2020-05-31 16:03:22
阅读次数：
92
Spark对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset），简称RDD。RDD其实就是分布式的元素集合。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。而在这背后，Spark会自动将RDD中的数据分发到集群 ...
分类：
其他好文 时间：
2020-05-30 22:18:13
阅读次数：
105
aggregate(zeroValue, seqOp, combOp) 入参： zeroValue表示一组初值 Tuple seqOp表示在各个分区partition中进行 什么样的聚合操作，支持不同类型的聚合 Func combOp表示将不同分区partition聚合后的结果再进行聚合，只能进行同 ...
分类：
其他好文 时间：
2020-05-30 10:34:58
阅读次数：
89
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组， ...
分类：
其他好文 时间：
2020-05-29 20:55:31
阅读次数：
55
Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点： （1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候 ...
分类：
其他好文 时间：
2020-05-29 19:38:34
阅读次数：
75
Spark GraphX 概述 1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。 （2）GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一种存储形态，在展示形态上可以以数据集来表示，也可 ...
分类：
其他好文 时间：
2020-05-29 19:11:36
阅读次数：
58
所谓双Value，就是两个数据集RDD之间进行操作。 1 union(otherDataset)：对源RDD和参数RDD合并后返回一个新的RDD，不会去重 val listRDD1: RDD[Int] = sc.makeRDD(1 to 5) val listRDD2: RDD[Int] = sc. ...
分类：
其他好文 时间：
2020-05-28 23:28:27
阅读次数：
71
问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？ 这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 defpersist（newLevel：StorageLevel）：this.type = { // Stora ...
分类：
其他好文 时间：
2020-05-27 15:59:00
阅读次数：
71
