特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类：
其他好文 时间：
2020-06-25 19:15:36
阅读次数：
119
自定义分区器： import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im ...
分类：
其他好文 时间：
2020-06-25 15:30:00
阅读次数：
55
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
本章介绍使用Metricbeat 收集Nginx指标数据使用，关于Metricbeat使用参考：【Beats】 Metricbeat快速入门（二十二） 步骤一、开启nginx的状态查询 搭建Nginx，搭建参考：【Web】Nginx下载与安装 1、安装nginx，需要加入http_stub_stat ...
分类：
其他好文 时间：
2020-06-25 14:00:35
阅读次数：
61
kafka只接收bytes字节数组，所以自定义序列化器内部实现需按照bytes字节数组转换为标准。 重点：本例子只是提供参考怎样写自定义序列化器，因为关系到性能，一般默认使用StringSerializer即可，效率很高。 1) 自定义序列化类，转换成bytes字节数组： import cn.enj ...
分类：
其他好文 时间：
2020-06-25 13:42:15
阅读次数：
81
Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器 ...
分类：
其他好文 时间：
2020-06-25 13:37:38
阅读次数：
138
1）引入maven依赖 我这里使用的是springboot 2.1.3.RELEASE 版本： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe ...
分类：
其他好文 时间：
2020-06-25 12:20:32
阅读次数：
155
springboot集成kafka是比较简单的是事情，但是kafka发送消息的失败回调在日常工作中，如果不容忍消息丢失的话，发送失败需要再次发送或者放到数据库中用任务重推。以下是演示用的发送类代码 @Slf4j @Component public class TestRunner implement ...
分类：
编程语言 时间：
2020-06-25 12:04:39
阅读次数：
143
kafka是什么Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的，发布/订阅模式的消息队列（Message Queue），Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展，Kafka已经由最初的日志 ...
分类：
其他好文 时间：
2020-06-25 10:16:04
阅读次数：
74
