什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象（其实是计算抽象）。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 不可变：数据一旦写入，不可更改；联想到java 中的String类型， ...
分类：
其他好文 时间：
2020-02-20 21:55:51
阅读次数：
104
1、在一个完整的数据转换流程里往往涉及到多个具有衍生关系RDD，这些RDD其实是通过逻辑串联来利用装饰器模式层层包装扩展的的一堆对象，这些相邻RDD间必须有继承关系。并且比Java中的装饰器来的更彻底，借助Scala的抽象控制特性，这一系列RDD不代表任何实际数据，也不负责装载数据，描述的是纯粹的逻 ...
分类：
其他好文 时间：
2020-02-20 20:30:35
阅读次数：
69
RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD的计算结果将会被缓存在计算节点的内存中，并供后面重用。 示例如下： d ...
分类：
其他好文 时间：
2020-02-20 18:41:28
阅读次数：
74
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。 1、Spark的核心是什么? RDD是Spark的基本抽象,是 ...
分类：
其他好文 时间：
2020-02-20 17:10:10
阅读次数：
121
概述 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 示例代码如下： def m ...
分类：
其他好文 时间：
2020-02-20 17:05:54
阅读次数：
81
RDD 的操作函数(operation)主要分为2种类型 Transformation 和 Action. 在这里只读表示当你对一个 RDD 进行了操作,那么结果将会是一个新的 RDD, 这种情况放在代码里,假设变换前后都是使用同一个变量表示这一 RDD, RDD 里面的数据并不是真实的数据,而是一 ...
分类：
其他好文 时间：
2020-02-20 10:08:53
阅读次数：
70
https://blog.csdn.net/weixin_43087634/article/details/84398036 2、什么是DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 3、RDD和DataFrame的区别 Da ...
分类：
其他好文 时间：
2020-02-20 09:59:48
阅读次数：
70
spark核心概念 我们之前介绍了spark的核心RDD，它是spark操作的基本单元。但是对于spark集群来说你还需要它的其它概念，比如我们操作RDD的时候，资源由谁来管理、任务由谁来执行等等。 + + + + + + + + + 东西有点多，我们可以梳理一下。假设我们有一个应用程序：appli ...
分类：
其他好文 时间：
2020-02-18 23:23:35
阅读次数：
169
很多朋友说要分享一些基于ssm框架开发的项目，在休闲时间搭建和撸一个以ssm框架开发的零食商城源码，详情如下，希望大家能够见解和学习。 首先ssm定义是框架集由Spring、MyBatis两个开源框架整合而成（SpringMVC是Spring中的部分内容），在开发上前后分离，耦合度小，且开发方便快速 ...
分类：
其他好文 时间：
2020-02-17 14:28:16
阅读次数：
251
spark核心之RDD 什么是RDD RDD指的是弹性分布式数据集 ，它是spark计算的核心。尽管后面我们会使用DataFrame、Dataset进行编程，但是它们的底层依旧是依赖于RDD的。我们来解释一下RDD 的这几个单词含义。 + + + RDD是spark的一个最基本的抽象 ，它代表了不可 ...
分类：
其他好文 时间：
2020-02-17 00:57:46
阅读次数：
125
