如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
1、下载已经编译好的 "kafka manager 2.0.0.2.zip安装包" 2、修改配置文件(xx安装目录/kafka manager 2.0.0.2/conf/application.conf) 3、启动kafka manager服务 4、jps查看进程验证 5、登陆Kafka Manag ...
分类：
其他好文 时间：
2020-05-03 01:10:15
阅读次数：
50
//使用kafka+sparkStreaming进行数据处理 //从kafka拉取数据 package com.swust.predict import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka. ...
分类：
其他好文 时间：
2020-05-02 23:22:17
阅读次数：
114
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
操作系统 Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件 应该说部署在 Linux 上的生产环境是最多的 主要是在下面这三个方面上，Linux 的表现更胜一筹。 I/O 模型的使用 数据网络传输效率 社区支持度 主流的 I/O 模型通常有 ...
分类：
其他好文 时间：
2020-05-02 23:13:44
阅读次数：
68
很多参数对系统的影响要比从文档上看更加明显 严格来说这些配置并不单单指 Kafka 服务器端的配置，其中既有 Broker 端参数， 也有主题（后面我用我们更熟悉的 Topic 表示）级别的参数、 JVM 端参数 和操作系统级别的参数 Broker 端参数 目前 Kafka Broker 提供了近 ...
分类：
其他好文 时间：
2020-05-02 23:06:08
阅读次数：
76
主要基于从kafka0.11.0版本开始之后的版本进行描述 1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、客户端优化 新版客户端摒弃单线程，采用双线程模式——主线程+Sender线程。 主线程负责将消息置入客户端缓存(缓存会将多个消息聚合为1个批次)； ...
分类：
其他好文 时间：
2020-05-02 16:43:55
阅读次数：
56
1.kafka如何扩展分区 https://www.cnblogs.com/wgy1/p/11611345.html 2.kafka如何完整删除topic https://blog.csdn.net/belalds/article/details/80575751 ...
分类：
其他好文 时间：
2020-05-02 09:48:20
阅读次数：
55
喜欢关注个人公众号：java乐园消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构；是大型分布式系统不可缺少的中间件。目前使用较多的消息队列有ActiveMQ、RabbitMQ、Kafka、RocketMQ、MetaMQ等。springboot提供了对JMS系统的支持；springboot很方便就可以集成这些消息中间件。对
分类：
编程语言 时间：
2020-05-02 09:27:36
阅读次数：
55
