1、消费者组 kafka提供的一种可扩展可容错消费机制，某个topic的分区数据只能被组内的一个消费者消费，注：当指定了自动提交(enable.auto.commit=true)时，必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据，即消费位 ...
分类：
其他好文 时间：
2020-06-28 15:17:15
阅读次数：
51
如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach ...
分类：
其他好文 时间：
2020-06-28 00:37:29
阅读次数：
94
使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留， ...
分类：
其他好文 时间：
2020-06-28 00:24:15
阅读次数：
64
第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志，一种是事件日志. 通过selector选择器把这两个日志分开，并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类：
Web程序 时间：
2020-06-28 00:08:11
阅读次数：
135
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
###题目描述 N个虫洞，M条单向跃迁路径。从一个虫洞沿跃迁路径到另一个虫洞需要消耗一定量的燃料和1单位时间。虫洞有白洞和黑洞之分。设一条跃迁路径两端的虫洞质量差为delta。 1.从白洞跃迁到黑洞，消耗的燃料值减少delta，若该条路径消耗的燃料值变为负数的话，取为0。 2.从黑洞跃迁到白洞，消耗 ...
分类：
其他好文 时间：
2020-06-27 20:14:51
阅读次数：
141
1、选择打印机名称：private selectPrinterNameButtonClick(e){ //参数 0:只返回选中的打印机名称，1：同时返回当前可用打印机列表，100：只返回当前可用的打印机列表 this.View.AddAction("SelectPrinterExt",0)}prot ...
分类：
其他好文 时间：
2020-06-27 09:41:10
阅读次数：
62
kafka Topic主题与Patitions分区架构图： 硬件架构图： end. ...
分类：
其他好文 时间：
2020-06-27 00:24:19
阅读次数：
60
点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到 ...
分类：
其他好文 时间：
2020-06-26 22:33:00
阅读次数：
79
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
