/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
前言最近在用kafka做项目，所以本地搭建下kafka，但是又嫌java安装和安装kafka太麻烦，所以想到用docker来部署。镜像wurstmeister/kafka维护较为频繁的一个Kafka镜像。只包含了Kafka，因此需要另行提供ZooKeeper，推荐使用同一作者提交的wurstmeister/zookeeper。现在已经提供较新的1.1.0版本。搭建开发环境1ZooKeeper&am
分类：
其他好文 时间：
2020-04-03 18:14:05
阅读次数：
57
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
1. 背景 上一篇介绍了如何利用Kafka Streams对实时消息流进行汇总求和。本篇将设定一个场景：我们引入一个Kafka topic表示电影票的销售，同时我们基于Kafka Streams编写一个程序来计算每年最卖座的电影票房以及最不卖座的电影票房。 2. 功能演示说明 假设我们要执行票房统计 ...
分类：
其他好文 时间：
2020-03-30 11:16:33
阅读次数：
80
The next lecture in a high school requires two topics to be discussed. The ii -th topic is interesting by aiai units for the teacher and by bibi units ...
分类：
其他好文 时间：
2020-03-29 01:44:16
阅读次数：
280
给定一个单词列表，我们将这个列表编码成一个索引字符串 S 与一个索引列表 A。 例如，如果这个列表是 ["time", "me", "bell"]，我们就可以将其表示为 S = "time#bell#" 和 indexes = [0, 2, 5]。 对于每一个索引，我们可以通过从字符串 S 中索引的 ...
分类：
其他好文 时间：
2020-03-28 13:41:24
阅读次数：
78
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
有这么一段代码经常会出现在代码中 1 var pubsub = (()=>{ 2 var topics = {}; 3 function subscribe(topic,fn){ 4 if(!topics[topic]){ 5 topics[topic] = []; 6 } 7 topics[top ...
分类：
其他好文 时间：
2020-03-24 16:03:57
阅读次数：
74
