1.血统机制 RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 RDD与RDD ...
分类：
其他好文 时间：
2020-04-06 17:52:36
阅读次数：
154
0.PTA得分截图 1.本周学习总结（0 5分） 1.1 总结树及串内容 字符串匹配是计算机的基本任务之一。 举例来说，有一个字符串"BBC ABCDAB ABCDABCDABDE"，我想知道，里面是否包含另一个字符串"ABCDABD"？ 许多算法可以完成这个任务，Knuth Morris Prat ...
分类：
其他好文 时间：
2020-04-05 13:20:47
阅读次数：
89
一：什么是SparkSQL？ （一）SparkSQL简介 Spark SQL是Spark的一个模块，用于处理结构化的数据，它提供了一个数据抽象DataFrame（最核心的编程抽象就是DataFrame），并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务，提交 ...
分类：
数据库 时间：
2020-04-02 15:36:01
阅读次数：
88
为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：cache、persist、checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下几种： ...
分类：
系统相关 时间：
2020-03-30 12:43:50
阅读次数：
102
一、什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can b ...
分类：
其他好文 时间：
2020-03-29 17:56:53
阅读次数：
80
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
1. DataFrame 本片将介绍Spark RDD的限制以及DataFrame（DF）如何克服这些限制，从如何创建DataFrame，到DF的各种特性，以及如何优化执行计划。最后还会介绍DF有哪些限制。 2. 什么是 Spark SQL DataFrame? 从Spark1.3.0版本开始，DF ...
分类：
其他好文 时间：
2020-03-16 12:56:06
阅读次数：
95
1.使用foreach碰到了问题 没看过累加器的时候，写了这么个代码，发现map里头foreach完了还是0啊？咋回事啊？ 1 def calNrOfEachDataMap(data:RDD[String],neededDataMap:Set[Map[Int,String]]): Map[Map[I ...
分类：
其他好文 时间：
2020-03-15 10:10:54
阅读次数：
163
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
