kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
1. 通过上期分享《实践指路明灯，源码剖析flink-metrics》，对当下较火的流式处理框架 flink 的指标监控体系有了全局的认识，并结合 flink-metrics-xxxx 模块进行深入分析，对 flink 是如何集成监控轮子了如之掌。 不过，源码中的 flink-metrics-inf ...
分类：
数据库 时间：
2020-04-04 11:27:32
阅读次数：
72
1. 通过上期的分享，我们对 Metrics 类库有了较深入的认识，并对指标监控的几个度量类型了如指掌。 本期，我们将走进当下最火的流式处理框架 flink 的源码，一同深入并学习一下别人家的代码。 2. 会当凌绝顶，一览众山小。先从全局了解个梗概，然后再采用剥洋葱的方式逐层去解密。 我本地的源码是 ...
分类：
其他好文 时间：
2020-04-04 11:12:21
阅读次数：
91
一致性检查点（checkpoint） 从检查点恢复状态 Flink检查点算法 保存点（save point） 1. 一致性检查点（checkpoint） Flink--有状态的流式处理 如上图sum_even （2+4），sum_odd（1 + 3 + 5），5这个数据之前的都处理完了，就出保存一个 ...
分类：
其他好文 时间：
2020-03-26 01:08:45
阅读次数：
73
Flink中的状态 算子状态（Operatior State） 键控状态（Keyed State） 状态后端（State Backends） 有状态的流式处理（可以是有状态（如一段时间内温度连续上升就报警；wordcount计算）、也可以是无转态（基于某个独立数据事件做处理直接输出，来一个处理一个， ...
分类：
其他好文 时间：
2020-03-24 00:59:06
阅读次数：
293
kafka的基本概念 kafka是什么 ？ ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 ：kafka具备系统解耦、冗余存储、流 ...
分类：
其他好文 时间：
2020-03-20 10:47:33
阅读次数：
76
2017年后，一大波网络喧嚣，说流式处理如何牛叉，如何高大上，抱歉，工作满负荷，没空玩那个； 今年疫情隔离在家，无聊，开始学习 KAFKA+Flink ，目前的打算是用爬虫抓取网页数据，传递到Kafka中，再用Flink计算。 个人性格原因，我不愿意过分沉迷于纸质或者电子教程材料，也不是特别喜欢网上 ...
分类：
其他好文 时间：
2020-03-02 01:04:26
阅读次数：
967
linq的延时执行是指枚举时才去一个个生成结果元素。 流式处理是linq延时执行的一种，在生成元素前不需要获取所有源元素，只要获取到的源元素足够计算时，便生成结果元素。 流式处理的标准查询运算符返回值通常是个普通序列。 ToAsEnumerable namespace ConsoleApp4 { c ...
分类：
其他好文 时间：
2020-02-28 17:13:37
阅读次数：
75
Flink中的时间类型和窗口是非常重要概念，是学习Flink必须要掌握的两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种：处理时间Flink程序执行对应操作的系统时间。所有基于时间的操作（例如：时间窗口）都将使用运行相应operator的系统时间。例... ...
分类：
其他好文 时间：
2020-02-05 09:16:30
阅读次数：
136
什么是流式处理呢？这个问题其实我们大部分时候是没有考虑过的，大多数，我们是把流式处理和实时计算放在一起来说的。我们先来了解下，什么是数据流。数据流（事件流）数据流是无边界数据集的抽象我们之前接触的数据处理，大多都都是有界的。例如：处理某天的数据、某个季度的数据等无界意味着数据是无限地、持续增长的数据... ...
分类：
其他好文 时间：
2020-02-03 09:50:30
阅读次数：
88
