1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下（绿线是数据流向）： Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请 ...
分类：
其他好文 时间：
2020-04-05 18:28:55
阅读次数：
140
1、 Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境 如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境 也就是说，getExecutionEnvironm ...
缓冲流(处理流的一种)可以提高文件传输的效率， 实际开发使用的流 BufferedInputStream BufferedOutputStream 加上flush() BufferedReader 有一个readLine()方法 BufferedWriter 加上flush() TestBuffer ...
分类：
其他好文 时间：
2020-03-31 17:29:36
阅读次数：
55
1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这 ...
1. 状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态； 对于流处理器内部（没有接入sink）来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确； 一条数据不应该丢失，也不应该重复计算； 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正常的； 状态一致性分类： ...
分类：
其他好文 时间：
2020-03-26 01:30:58
阅读次数：
150
1. 概念 Reactive 非常适合低延迟、高吞吐量的工作负载。 Reactive Processing 是一种范式（规范），它使开发人员能够构建非阻塞的、异步的应用程序，这些应用程序能够处理背压（流控制） Reactive Streams 为无阻塞背压的异步流处理提供标准。 Reactor 是基 ...
分类：
其他好文 时间：
2020-03-25 23:27:36
阅读次数：
74
Apache Flink 的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也 ...
分类：
Web程序 时间：
2020-03-23 12:36:54
阅读次数：
88
这篇文章主要给大家介绍了关于js防抖和节流的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用js具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 前言： 我们在做页面事件绑定的时候，经常要进行节流处理，比如鼠标异步点击，去执行一个异步请求时，需要让它在上一次没执行时不能再 ...
分类：
Web程序 时间：
2020-03-22 19:54:08
阅读次数：
89
流的分类 按操作数据单位不同分为：字节流(8 bit)，字符流(16 bit) 按数据流的流向不同分为：输入流，输出流 按流的角色的不同分为：节点流，处理流 节点流 FileReader 使用char数组加速 FileWriter FileReader 和 FileWriter FileInputS ...
分类：
其他好文 时间：
2020-03-21 21:45:31
阅读次数：
66
