KafkaConnect基本概念介绍KafkaConnect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到Kafka的数据传输，也是用来构建ETL的一种方案。KafkaConnect基本概念：KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
在Flink的官网写着：Stateful Computations over Data Streams。 基于状态计算的数据流。 在流式计算中，希望做一些聚合分析等。那么就需要保存当前日志的状态，以备与后来的日志做比较。 在Flink中每个操作都会有状态的保存无论是source、sink还是oper ...
分类：
其他好文 时间：
2020-05-26 12:38:24
阅读次数：
87
Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水位线”。 Flink 的窗口和时间根据窗口数据划分的不同，目前 Flink ...
分类：
其他好文 时间：
2020-05-23 16:25:22
阅读次数：
53
1、环境准备 TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。 目前，TDengine只支持在使用systemd做进程服务管理的l ...
分类：
其他好文 时间：
2020-05-21 00:23:47
阅读次数：
178
一、电力设备在线监测的目的及意义 1、项目背景 电力设备在线检测是指在不停电的情况下，对电力设备状况进行连续或周期自动检测监视。运用传感器技术、广域通信技术、信息处理技术实时感知-->监视预警-->分析诊断-->评估预测电力设备在线检测是实现电力设备运行检修管理、提升生产运行管理精益化的重要手段，对 ...
分类：
其他好文 时间：
2020-05-01 16:54:33
阅读次数：
76
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
一手资料，完全来自官网，直接参考英文过来的，并加了一些自己的理解，希望能让看官君了解点什么，足矣。 环境：Flink1.9.1 难度：新手--战士--老兵--大师 目标： 理解Flink的计算模型 认识各重要组件 说明： 本篇作为前两篇的补充内容，算是理论篇 步骤： 01-Flink编程模型 Fli ...
分类：
其他好文 时间：
2019-12-26 13:17:20
阅读次数：
96
前面说了Java8的流，这里还说流处理，既然是流，比如水流车流，肯定得有流的源头，源可以有多种，可以自建，也可以从应用端获取，今天就拿非常经典的Kafka做源头来说事，比如要来一套应用日志实时分析框架，或者是高并发实时流处理框架，正是Kafka的拿手好戏。 环境：Idea2019.03/Gradle ...
分类：
其他好文 时间：
2019-12-16 19:31:26
阅读次数：
178
