文章目录一、kafka是什么？二、使用步骤1. 安装1.引入库2.消费端：读取数据3.发送端：发送数据总结一、kafka是什么？kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个 ...
分类：
编程语言 时间：
2021-06-30 17:50:03
阅读次数：
0
1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
Flink 状态 Flink状态： 状态可以是历史结果,也可以是存储的数据,归根揭底是保存的内容就是状态。 流式计算分为有状态的和无状态的: 无状态的流处理:观察每个独立的事件,并根据最后一个事件的结果进行输出。 有状态的流处理:基于多个事件输出结果。流与流之间的关联操作、流与静态表或动态表之间的关 ...
分类：
其他好文 时间：
2021-06-02 20:06:01
阅读次数：
0
实时流式计算 Kafka Stream 2.1 概述 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的L ...
分类：
其他好文 时间：
2021-04-05 12:27:09
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
各大互联网公司架构演进之路汇总点击上方“Hollis”关注我，精彩内容第一时间呈现。全文字数：800阅读时间：2分钟大型网站架构演化历程大型网站架构技术一览支付宝和蚂蚁花呗的技术架构及实践支付宝的高可用与容灾架构演进余额宝技术架构及演进淘宝数据魔方技术架构解析淘宝技术发展历程和架构经验分享淘宝架构演进背后——零售业务中台架构设计探讨及实践阿里游戏高可用架构设计实践阿里B2B技术架构演进详解秒杀系统
分类：
其他好文 时间：
2020-10-30 13:04:24
阅读次数：
19
1 简介 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在 温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 ? 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态 ...
分类：
其他好文 时间：
2020-08-03 23:29:48
阅读次数：
85
1、什么是DBus DBus（数据总线）项目为了统一数据采集需求而生， 专注于数据的收集及实时数据流计算，通过简单灵活的配置，以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数 ...
分类：
数据库 时间：
2020-08-02 17:33:21
阅读次数：
95
Checkpoint & Snapshot 检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻 ...
分类：
其他好文 时间：
2020-06-07 12:38:52
阅读次数：
63
