因某些童鞋的建议，从这篇文章开始结合源码谈谈Flink Fault Tolerance相关的话题。上篇官方介绍的翻译是理解这个话题的前提，所以如果你想更深入得了解Flink Fault Tolerance的机制，推荐先读一下前篇文章理解它的实现原理。当然原理归原理，原理体现在代码实现里并不是想象中的那么直观。这里的源码剖析也是我学习以及理解的过程。...
分类：
Web程序 时间：
2016-05-26 07:35:17
阅读次数：
277
简介Apache Flink提供了一个失败恢复机制来使得数据流应用可以持续得恢复状态。这个机制可以保证即使线上环境的失败，程序的状态也将能保证数据流达到exactly once的一致性。注意这里也可以选择降级到保证at least once的一致性级别。...
分类：
Web程序 时间：
2016-05-23 15:23:35
阅读次数：
436
前面我们谈论了Flink stream中的transformation。你可以将transformation看成编写Flink程序并构建流式处理程序的必要组成部分（静态表现形式）；而本篇我们将探讨transformation在Flink运行时对应的动态表现形式——operator。...
分类：
Web程序 时间：
2016-05-22 12:17:28
阅读次数：
294
除Hadoop外的9个大数据技术： 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Micro ...
分类：
其他好文 时间：
2016-05-16 11:00:27
阅读次数：
204
之前我们聊了Flink程序的source、sink就差transformation了。今天我们就来解读一下Flink的transformation。它们三者的关系如下图：当然这还是从Flink编程API的角度来看的（编程视角）。所谓的transformation，用于转换一个或多个DataStream从而形成一个新的DataStream对象。...
分类：
Web程序 时间：
2016-05-15 12:40:02
阅读次数：
274
Window也即窗口，是Flink流处理的特性之一。前一篇文章我们谈到了Winodw的相关概念及其实现。窗口的目的是将无界的流转换为有界的元素集合，但这还不是最终的目的，最终的目的是在这有限的集合上apply(应用)某种函数，这就是我们本篇要谈的主题——WindowFunction（窗口函数）。...
上一篇我们谈论了Flink stream source，它作为流的数据入口是整个DAG（有向无环图）拓扑的起点。那么与此对应的，流的数据出口就是跟source对应的Sink。这是我们本篇解读的内容。...
分类：
Web程序 时间：
2016-05-13 02:56:37
阅读次数：
3019
Storm发展到现在已经有了5个年头，从刚开始惊艳四方，到现在逐渐被新兴框架(Flink、Spark Streaming)挑战。Storm本身也在不断的发展，Twitter对其不断的探索，且深一步的开发了Heron框架。社区也在憋了5年后发布了第一个正式版本。
Storm内部机制及探索
内部机制
Storm写了一层调度系统，Nimbus作为调度的Master(类似ResourceManage...
分类：
其他好文 时间：
2016-05-12 13:13:19
阅读次数：
933
window（窗口）是Flink流处理中非常重要的概念，本篇我们来对窗口相关的概念以及关联的实现进行解析。本篇的内容主要集中在package org.apache.flink.streaming.api.windowing下。...
分类：
Windows程序 时间：
2016-05-12 12:33:39
阅读次数：
2369
Flink中的一些基础而又关键的核心概念。了解这些概念有助于更进一步理解Flink的设计。...
分类：
其他好文 时间：
2016-05-03 18:26:38
阅读次数：
1779
