处理数据类型为Value型的Transformation算子能够依据RDD变换算子的输入分区与输出分区关系分为下面几种类型: 1）输入分区与输出分区一对一型 2）输入分区与输出分区多对一型 3）输入分区与输出分区多对多型 4）输出分区为输入分区子集型 5）另一种特殊的输入与输出分区一对一的算子类型： ...
分类：
其他好文 时间：
2017-08-04 10:09:52
阅读次数：
199
目录 · 概况 · 原理 · API · DStream · WordCount示例 · Input DStream · Transformation Operation · Output Operation · 缓存与持久化 · Checkpoint · 性能调优 · 降低批次处理时间 · 设置合 ...
分类：
其他好文 时间：
2017-08-04 09:56:28
阅读次数：
307
1、应用程序创建 SparkContext 的实例 sc 2、利用 SparkContext 的实例来创建生成 RDD 3、经过一连串的 transformation 操作，原始的 RDD 转换成为其它类型的 RDD 4、当 action 作用于转换之后 RDD 时，会调用 SparkContext ...
分类：
其他好文 时间：
2017-08-01 11:17:54
阅读次数：
203
常用transformation 注：某些函数只有PairRDD只有，而普通的RDD则没有，比如gropuByKey、reduceByKey、sortByKey、join、cogroup等函数要根据Key进行分组或直接操作 RDD[U] map(f: T => U) T：原RDD中元素类型 U：新R... ...
分类：
其他好文 时间：
2017-07-31 13:22:38
阅读次数：
349
一、关于UTF-8 UTF-8 Unicode Transformation Format-8bit。是用以解决国际上字符的一种多字节编码。 它对英文使用8位（即一个字节) ，中文使用24位（三个字节）来编码。 UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。 UTF-8编码的文字 ...
分类：
数据库 时间：
2017-07-28 22:27:50
阅读次数：
272
摘要：RDD是Spark中极为重要的数据抽象，这里总结RDD的概念，基本操作Transformation(转换)与Action，RDDs的特性，KeyValue对RDDs的Transformation(转换)。 1.RDDs是什么 Resilient distributed datasets(弹性分 ...
分类：
其他好文 时间：
2017-07-28 20:51:04
阅读次数：
271
1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey、sortBy：将学生分数进行排序7、join：打印每个学生的成绩8、cogr... ...
分类：
其他好文 时间：
2017-07-28 19:24:39
阅读次数：
150
1、常用transformation介绍操作介绍map将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDDfilter对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。flatMap与map类似，但是对每个元素都可以返回一个或多个新元素。grop... ...
分类：
其他好文 时间：
2017-07-26 22:03:38
阅读次数：
133
1、transformation和action介绍Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Dri... ...
分类：
其他好文 时间：
2017-07-26 21:46:16
阅读次数：
129
一、废话 T4(Text Template Transformation Toolkit)是微软官方在VisualStudio 2008中开始使用的代码生成引擎。在 Visual Studio 中，“T4 文本模板”是由一些文本块和控制逻辑组成的混合模板，它可以生成文本文件。 在 Visual C# ...
分类：
其他好文 时间：
2017-07-23 00:45:59
阅读次数：
2095
