使用方式, dataStream.coGroup(otherStream) .where(0).equalTo(1) .window(TumblingEventTimeWindows.of(Time.seconds(3))) .apply (new CoGroupFunction () {...})... ...
分类:
其他好文 时间:
2017-07-21 13:23:46
阅读次数:
417
https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/connectors/kafka.html 使用的方式, DataStream stream = ...; FlinkKafkaProducer010Configurati... ...
分类:
其他好文 时间:
2017-06-07 12:40:42
阅读次数:
363
先看最简单的例子, final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream> stream = env.addSource(...); stream... ...
分类:
其他好文 时间:
2017-04-01 15:50:14
阅读次数:
414
DataStream API所编写的流处理应用程序在生成作业图(JobGraph)并提交给JobManager之前,会预先生成流图(StreamGraph)。
分类:
其他好文 时间:
2017-02-06 11:17:09
阅读次数:
312
Savepoint 本文翻译自文档Streaming Guide / Savepoints 使用DataStream API编写的程序可以从一个savepoint处恢复执行。savepoint可以同时更新你的程序和Flink集群而不丢失任何状态。该文档包括了从触发、存储以及销毁(dispose)sa ...
分类:
编程语言 时间:
2016-08-19 20:34:30
阅读次数:
276
容错(Fault Tolerance) 本文翻译自StreamGuide的Fault Tolerance Flink的容错机制会在错误出现时恢复程序并继续执行,这些容错机制包括设备硬件失效、网络失效、临时程序失效等等。 一、流容错 Flink使用检查点机制来在流Job失效后对其进行恢复。该检查点机制 ...
分类:
编程语言 时间:
2016-08-16 20:11:40
阅读次数:
234
窗口(Window) 本文翻译自文档Windows Flink使用窗口的概念,根据element的时间戳或者其他指标,将可能无限的DataStream分割为有限的数据切片(slice)。我们在处理无限数据流以及进行聚合element的transformation时需要此种窗口分割。 注意:我们在此文 ...
分类:
编程语言 时间:
2016-08-16 01:52:15
阅读次数:
330
本文翻译自Pre-defined Timestamp Extractors / Watermark Emitter 正如timestamps and watermark handling中所述,Flink提供了抽象类来让开发者赋值自己的时间戳并发送他们自己的Watermark。更具体来说,开发者需要 ...
分类:
编程语言 时间:
2016-08-10 00:36:39
阅读次数:
387
Event Time 本文翻译自DataStream API Docs v1.2的Event Time 一、事件时间 / 处理时间 / 提取时间 Flink支持流程序不同的time概念。 · Processing time:处理时间指执行对应Operation的设备的系统时间。 当一个流程序以处理时 ...
分类:
编程语言 时间:
2016-08-07 00:57:06
阅读次数:
1331
DataStream API编程指导 文档翻译自Flink DataStream API Programming Guide Flink中的DataStream程序是实现在数据流上的transformation(如filtering,updating state, defining windows, ...
分类:
编程语言 时间:
2016-08-02 21:03:00
阅读次数:
732