今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru ...
分类：
其他好文 时间：
2020-09-17 13:20:14
阅读次数：
29
Flink常用算子代码实现 (Scala版本和Java版本) ...
分类：
编程语言 时间：
2020-09-11 16:15:56
阅读次数：
71
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义 source、transform 和 sink。 具体操作流程如下： val tableEnv = ... // 创建表的执行环境 // 创建一张表，用于读 ...
分类：
数据库 时间：
2020-08-04 14:03:48
阅读次数：
83
1 简介 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在 温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 ? 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态 ...
分类：
其他好文 时间：
2020-08-03 23:29:48
阅读次数：
85
Flink (三) Flink 编程模型 流式处理WordCount： public class StreamWordCount { public static void main(String[] args) throws Exception { //创建一个流处理的执行环境 StreamExec ...
分类：
其他好文 时间：
2020-07-30 01:17:49
阅读次数：
68
月初的时候，Flink 终于发布 1.11.0 版本， CDC 的功能还是比较期待的（虽然比预期差很多） 当然是升级一波了 最新的代码已经上传到 GitHub ： https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码，随便来个 kafka t ...
分类：
数据库 时间：
2020-07-26 00:01:52
阅读次数：
179
1.运行环境 有一些三种方式获取当前环境 getExecutionEnvironment() createLocalEnvironment() createRemoteEnvironment 2.批处理 ExecutionEnvironment env = ExecutionEnvironment. ...
分类：
其他好文 时间：
2020-07-21 11:37:59
阅读次数：
68
