本篇文章的目的是帮助Kafka初学者快速搭建一个Kafka集群，以及怎么在SpringBoot项目中使用Kafka。 kafka集群环境包地址：https://pan.baidu.com/s/1Mar6ADov94lUNMCR6eyFEA 提取码：x9yn 一、Kafka集群搭建 1、准备环境 （1 ...
分类：
编程语言 时间：
2020-06-18 13:04:08
阅读次数：
56
面试题内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈，一共有上百个面试题集合，资源难得，而且 ...
分类：
编程语言 时间：
2020-06-18 13:01:20
阅读次数：
62
事先说明，本文的所有实例均基于kafka2.5.0开发；依赖的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version> < ...
分类：
编程语言 时间：
2020-06-17 23:08:15
阅读次数：
74
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
每一个副本 leader 管理自己的 isr 列表，进行扩缩，并写入 zk 把某些 replica 加入到 isr 中：如果 follower 的 offset 大于等于 leader 的 HW，则把该 replica 加入到 isr 中 // kafka.cluster.Partition#may ...
分类：
其他好文 时间：
2020-06-16 23:41:35
阅读次数：
56
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
kafka 搭建源码环境 org.scoverage 报错 * Where:Build file '/Users/lidongmeng/source_code_read/kafka-0.10.0.1-src/build.gradle' line: 376 * What went wrong:A pr ...
分类：
其他好文 时间：
2020-06-16 18:44:01
阅读次数：
120
0.kafka和zookeeper一键搭建脚本如下#!/bin/bash#Auth:xusj#Date:2020/6/15#3个节点集群使用，分别在节点123执行该脚本即可。curDir=`pwd`localIp=$(ifconfig|grepinet|grepnetmask|grepbroadcast|awk‘{print$2}‘|sed-n‘1p‘)zkPid=$(psaux|grepzook
分类：
其他好文 时间：
2020-06-16 16:50:25
阅读次数：
65
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等Kafka是一个高性能的消息队列，在众多消息队列产品中，Kafka的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对Kafka做过极限的性能压测，Kafka单个节点的极限处理能力接近每秒钟2000万条消息，吞吐量达到每秒钟600MB。你可能会问，Kafka是如何做到这么高的性能的？之前就曾探讨过：怎么开发一个高性
分类：
其他好文 时间：
2020-06-16 01:08:56
阅读次数：
159
