Apache Flink - Window

标签：存在   图片   http   idt   集合   bsp   机制   技术分享   工作   

Window：

• 在Streaming中，数据是无限且连续的，我们不可能等所有数据都到才进行处理，我们可以来一个就处理一下，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。
• 窗口可以是时间和事件驱动的，窗口有翻滚窗口(Tumbling Window，无重叠)，滚动窗口(Sliding Window，有重叠)，和会话窗口(Session Window，活动间隙)。raw data stream 代表用户的购买行为流，圈中的数字代表该用户本次购买的商品个数，事件是按时间分布的，且事件之间是有时间间隙。

Window API

• Window Assigner：用来决定某个元素被分配到哪个/哪些窗口中去。
• Trigger：触发器。决定了一个窗口何时能够被计算或清除，每个窗口都会拥有一个自己的Trigger。
• Evictor：可以译为“驱逐者”。在Trigger触发之后，在窗口被处理之前，Evictor(如果有Evictor的话)会用来剔除窗口中不需要的元素，相当于一个filter。

Window 的实现

• 下图描述了 Flink 的窗口机制以及各组件之间是如何相互工作的。         首先上图中的组件都位于一个算子（window operator）中，数据流源源不断地进入算子，每一个到达的元素都会被交给 WindowAssigner。WindowAssigner 会决定元素被放到哪个或哪些窗口（window），可能会创建新窗口。因为一个元素可以被放入多个窗口中，所以同时存在多个窗口是可能的。注意，Window本身只是一个ID标识符，其内部可能存储了一些元数据，如TimeWindow中有开始和结束时间，但是并不会存储窗口中的元素。窗口中的元素实际存储在 Key/Value State 中，key为Window，value为元素集合（或聚合值）。为了保证窗口的容错性，该实现依赖了 Flink 的 State 机制。

Apache Flink - Window

标签：存在   图片   http   idt   集合   bsp   机制   技术分享   工作   

原文地址：https://www.cnblogs.com/ooffff/p/9526304.html