一、概述 1.1、Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2、Kafka Streams特点 功能强大 高扩展性，弹性，容错 轻量级 轻量级 ...
分类：
其他好文 时间：
2021-02-10 13:05:33
阅读次数：
0
单机启动 1、获取Kafka 2、解压Kafka $ tar -xzf kafka_2.13-2.7.0.tgz $ cd kafka_2.13-2.7.0 3、启动zk（Kafka包中自带zk程序和配置文件） 配置ZK的日志路径 # Start the ZooKeeper service # No ...
分类：
其他好文 时间：
2021-02-04 12:16:31
阅读次数：
0
zookeeper.properties # the directory where the snapshot is stored. dataDir=/tmp/zookeeper # the port at which the clients will connect clientPort=2181 ...
分类：
其他好文 时间：
2021-02-04 12:14:03
阅读次数：
0
启动完kafka后，go run producer.go 程序之后出现 D:\tmp\kafka-logs\__consumer_offsets-48\00000000000000000000.test_log.log: 另一个程序正在使用此文件，进程无法访问。 解决办法，网上说，直接把tmp的这个 ...
分类：
编程语言 时间：
2021-02-03 10:47:28
阅读次数：
0
【消息队列高手课】- 基础篇 消息队列都有哪些选择： RabbitMQ - 特色：Exchange模块，开箱即用 RocketMQ - 特色：低延迟和金融级的稳定性 Kafka - 特色：海量，异步批量，“先攒一波再一起处理” ActiveMQ：队列模型和发布-订阅模型都支持 ZeroMQ Puls ...
分类：
其他好文 时间：
2021-02-02 10:44:45
阅读次数：
0
kafka之所以那么快，其中一个很大的原因就是零拷贝（Zero-copy）技术，零拷贝不会kafka的专利，而是操作系统的升级，又比如Netty，也用到了零拷贝。 传统IO kafka的数据是要落入磁盘的，那么必然牵扯到磁盘的IO，传统磁盘IO又叫做缓存IO，效率是很低的，那么为什么效率低下呢？我们 ...
分类：
其他好文 时间：
2021-02-01 11:58:41
阅读次数：
0
#kafka ##1.kafka基础架构 Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。 （1）Producer ： ...
分类：
其他好文 时间：
2021-01-30 12:13:24
阅读次数：
0
ActiveMQ是Apache软件基金会所研发开源的消息中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。 现在的消息队列有不少，RabbitMQ、Kafka、RocketMQ，ZeroMQ等等，而ActiveMQ作为拥有十多年历史的产品，有着许许多多的成功案例，活跃的社区，让它 ...
分类：
其他好文 时间：
2021-01-29 12:02:36
阅读次数：
0
报错如下： 导致上述错误的原因有很多，下面列出常见错误 1.调整连接超时时间 zookeeper.connection.timeout.ms=6000 连接超时更新60000，即60秒，默认是6秒。 2.kafka配置文件中的zookeeper连接的ip或者端口配置错误 zookeeper.conn ...
分类：
其他好文 时间：
2021-01-29 11:59:37
阅读次数：
0
来源：https://mp.weixin.qq.com/s/Tb8GtabOVBvx88de0C4ncw 0 背景 在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记 ...
分类：
数据库 时间：
2021-01-27 13:12:51
阅读次数：
0
