一个StreamingContext定义之后，必须做以下几件事情：1、通过创建输入DStream来创建输入数据源。2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。3、调用StreamingContext的start()方法，来开始实时处理数据。4、 ...
分类：
其他好文 时间：
2019-01-19 21:16:25
阅读次数：
168
一、Spark-RDD算子简介 二、RDD创建 例子： 三、常用Transformation 1、map(func) 2、flatMap(func) 3、sortby 4、reduceByKey 5、filter 过滤 6、union 并集 7、groupByKey 分组 8、intersectio ...
分类：
其他好文 时间：
2019-01-13 20:27:15
阅读次数：
240
Spark的ransformation和action算子简介
分类：
其他好文 时间：
2018-12-29 18:31:50
阅读次数：
170
定义函数和调用函数的语法 定义函数 形式： 需要注意： 调用函数 形式：functionname(a1,a2) UTF-8的相关知识 UTF-8 是 Unicode Transformation Format 8 Bits 的简称，是一种编码规定，其目的在于减少编码时候的文本对内存的浪费。这是一种压 ...
分类：
编程语言 时间：
2018-12-23 16:44:38
阅读次数：
201
逐元素Transformation map() map()接收函数，把函数应用到RDD的每个元素，返回新的RDD 举例： filter() filter接收函数，返回只包含满足filter()函数的元素的新RDD flatMap() 对每个输入元素，输出多个输出元素。 flat是压扁的意思，将RDD ...
分类：
其他好文 时间：
2018-11-25 17:48:11
阅读次数：
350
题目链接 ： 514.div2.C-Sequence Transformation ...
分类：
其他好文 时间：
2018-11-06 15:14:17
阅读次数：
202
题意 给出一个1-n的集合 gcd 集合里面的所有数 得到的 一个 数 然后自己选择删去一个数 要使得到的数 构成的数列 的字典序最大 思路： gcd所有数 那gcd得到的数肯定要小于数组中最小的数 所以 刚开始都是1 所以优先删去1 那就要使gcd所有数经可能快得到 2 如何快速到2 呢 那就是把 ...
分类：
其他好文 时间：
2018-11-05 00:11:54
阅读次数：
107
当你开始编写Apache Spark代码或者浏览公开的API的时候，你会遇到诸如transformation，action，RDD等术语。了解到这些是编写Spark代码的基础。同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解一些新的名词:job, sta ...
分类：
其他好文 时间：
2018-11-02 23:54:28
阅读次数：
219
概述 在上一个教程中，我们从模型空间到屏幕渲染了一个立方体。 在本教程中，我们将扩展转换的概念并演示可以通过这些转换实现的简单动画。 本教程的结果将是围绕另一个轨道运行的对象。 展示转换以及如何将它们组合以实现期望的效果将是有用的。 在我们介绍新概念时，未来的教程将在此基础上构建。 资源目录 (SD ...
分类：
其他好文 时间：
2018-10-27 21:18:39
阅读次数：
152
