写介绍kafka的几个重要概念（可以参考之前的博文Kafka的简单介绍）：Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群；Topic：一类消息，例如pageview日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发；Partition：topic物理上的分组，一个topic可以分为
分类：
其他好文 时间：
2019-06-19 18:40:36
阅读次数：
206
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2019-06-12 19:52:22
阅读次数：
88
一、zookeeper集群搭建 kafka集群依赖于zookeeper的集群，搭建zookeeper集群的步骤此处省略。 二、下载解压 去官网下载http://kafka.apache.org/downloads 然后解压 三、修改配置文件 在config/server.properties中： 1 ...
分类：
其他好文 时间：
2019-06-11 16:18:02
阅读次数：
227
第 2 章 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.2 ...
分类：
其他好文 时间：
2019-06-10 00:03:24
阅读次数：
116
Controller机制 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，以及执行重分配分区之类的管理任务。 第一个启动的broker会成为一个controller，它会在Zookeeper上创建一个临时节点(ephemeral) ...
分类：
其他好文 时间：
2019-06-09 18:22:57
阅读次数：
106
副本和分区状态机 1 前言 Controller 是从Kafka集群中选取一个的broker，负责管理topic分区和副本的状态的变化，通过上篇我们知道了controller的启动流程，这篇我们学习一下分区和副本状态机。 分区状态机记录着当前集群所有 Partition 的状态信息以及如何对 Par ...
分类：
其他好文 时间：
2019-06-09 18:09:35
阅读次数：
84
1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer, ...
分类：
其他好文 时间：
2019-06-06 19:30:48
阅读次数：
134
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
搭建Kafka集群，参考： https://www.cnblogs.com/jonban/p/kafka.html 源码示例如下： 1、新建 Maven 项目 kafka 2、pom.xml 3、KafkaStarter.java 4、MessageHandler.java 5、SendMessag ...
分类：
编程语言 时间：
2019-05-12 10:34:54
阅读次数：
133
在我们上一篇Kafka教程中，我们讨论了Kafka Cluster。今天，我们将通过示例讨论Kafka Producer。此外，我们将看到KafkaProducer API和Producer API。此外，我们将学习Kafka Producer中的配置设置。最后，我们将在Kafka Producer ...
分类：
Web程序 时间：
2019-05-11 21:30:44
阅读次数：
192
