1 简介 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在 温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 ? 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态 ...
分类：
其他好文 时间：
2020-08-03 23:29:48
阅读次数：
85
Flink (三) Flink 编程模型 流式处理WordCount： public class StreamWordCount { public static void main(String[] args) throws Exception { //创建一个流处理的执行环境 StreamExec ...
分类：
其他好文 时间：
2020-07-30 01:17:49
阅读次数：
68
client 发送数据（输出流） （输入）-【管道流处理数据】-（输出） 接收数据（输入流） server URL：协议+IP+端口+资源位置 客户端： InetAddress 获取本地IP：写入服务器的端口号：xxxx 创建一个Socket连接（丢入IP和端口） 发送消息IO流（socket.ge ...
分类：
编程语言 时间：
2020-07-24 09:53:27
阅读次数：
82
Flink的部署模式，有Local、Cluster和Cloud模式，本案例，在Local模式下分析，Flink的DataStream流处理应用程序的运行流程 1、自定义DataStream的应用程序，执行execute方法 1.1、初始化StreamExecutionEnvironment，在loc ...
分类：
其他好文 时间：
2020-07-14 00:19:14
阅读次数：
71
1 kafka介绍 Kafka是一款性能非常好的并且支持分布式的消息队列中间件由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台Kafka是一个流处理平台，因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据我们就可以把Kafka看作是一种 ...
分类：
其他好文 时间：
2020-07-11 13:02:34
阅读次数：
55
Table API是流处理和批处理通用的关系型API，Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不 ...
分类：
数据库 时间：
2020-07-09 15:03:48
阅读次数：
83
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴，它正在成为一种提供数据处理（包括批处理），实时应用乃至分布式事务的新方法的技术。 1、什么是流处理？ 流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。它只是形成一系列事件，这些 ...
分类：
其他好文 时间：
2020-07-07 09:31:39
阅读次数：
65
原文：王知无 https://www.cnblogs.com/importbigdata/p/12178404.html 维表JOIN-绕不过去的业务场景 在Flink 流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。 例如：在电商场景中，需要一个商品的skuid去关联商品的一 ...
分类：
其他好文 时间：
2020-07-03 10:36:10
阅读次数：
58
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的 ...
