1、消费者组 kafka提供的一种可扩展可容错消费机制,某个topic的分区数据只能被组内的一个消费者消费,注:当指定了自动提交(enable.auto.commit=true)时,必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据,即消费位 ...
分类:
其他好文 时间:
2020-06-28 15:17:15
阅读次数:
51
如果要想在java客户端进行Kerberos认证,则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件:kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach ...
分类:
其他好文 时间:
2020-06-28 00:37:29
阅读次数:
94
使用了kerberos认证之后,整个kafka系统安全了,而且性能也保持着不错的状态,但是在实际中工作中kerberos未必都能够正常使用,也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中,作为消息生产者的数据来源可能非常的多,所以在这样的状态下,kerberos认证必须保留, ...
分类:
其他好文 时间:
2020-06-28 00:24:15
阅读次数:
64
第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志,一种是事件日志. 通过selector选择器把这两个日志分开,并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类:
Web程序 时间:
2020-06-28 00:08:11
阅读次数:
135
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类:
其他好文 时间:
2020-06-27 21:42:37
阅读次数:
90
###题目描述 N个虫洞,M条单向跃迁路径。从一个虫洞沿跃迁路径到另一个虫洞需要消耗一定量的燃料和1单位时间。虫洞有白洞和黑洞之分。设一条跃迁路径两端的虫洞质量差为delta。 1.从白洞跃迁到黑洞,消耗的燃料值减少delta,若该条路径消耗的燃料值变为负数的话,取为0。 2.从黑洞跃迁到白洞,消耗 ...
分类:
其他好文 时间:
2020-06-27 20:14:51
阅读次数:
141
1、选择打印机名称:private selectPrinterNameButtonClick(e){ //参数 0:只返回选中的打印机名称,1:同时返回当前可用打印机列表,100:只返回当前可用的打印机列表 this.View.AddAction("SelectPrinterExt",0)}prot ...
分类:
其他好文 时间:
2020-06-27 09:41:10
阅读次数:
62
kafka Topic主题与Patitions分区架构图: 硬件架构图: end. ...
分类:
其他好文 时间:
2020-06-27 00:24:19
阅读次数:
60
点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接收,当没有消费者可用时,这个消息会被保存直到有一个可用的消费者,所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到 ...
分类:
其他好文 时间:
2020-06-26 22:33:00
阅读次数:
79
需求:采集8类日志数据,并且进入es展示: 方案制定:目前数据采集通用flume+kafka模式,所以采用原有模式,一类服务进入一个topic,然后通过logstash进行数据清洗,最后进入es进行展示。 flume采用tadir 读取数据源,memory 进行缓存,kafka进行sink a1.s ...
分类:
Web程序 时间:
2020-06-26 22:29:32
阅读次数:
81