前面说过了consumer心跳机制：consumer定期向coordinator发送心跳请求，以表明自己还在线；如果session.timeout.ms内未发送请求，coordinator认为其不可用，然后触发rebalance session.timeout.ms：coordinator感知con ...
分类：
其他好文 时间：
2020-06-28 18:30:22
阅读次数：
193
1、消费者组 kafka提供的一种可扩展可容错消费机制，某个topic的分区数据只能被组内的一个消费者消费，注：当指定了自动提交(enable.auto.commit=true)时，必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据，即消费位 ...
分类：
其他好文 时间：
2020-06-28 15:17:15
阅读次数：
51
如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach ...
分类：
其他好文 时间：
2020-06-28 00:37:29
阅读次数：
94
使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留， ...
分类：
其他好文 时间：
2020-06-28 00:24:15
阅读次数：
64
第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志，一种是事件日志. 通过selector选择器把这两个日志分开，并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类：
Web程序 时间：
2020-06-28 00:08:11
阅读次数：
135
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
kafka Topic主题与Patitions分区架构图： 硬件架构图： end. ...
分类：
其他好文 时间：
2020-06-27 00:24:19
阅读次数：
60
点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到 ...
分类：
其他好文 时间：
2020-06-26 22:33:00
阅读次数：
79
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
