一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区。每个记录由一个键，一个值和一个时间戳组成。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送 ...
分类：
其他好文 时间：
2021-03-26 15:32:23
阅读次数：
0
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干 ...
分类：
其他好文 时间：
2021-03-17 14:25:54
阅读次数：
0
安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类：
其他好文 时间：
2021-02-22 12:46:23
阅读次数：
0
单机启动 1、获取Kafka 2、解压Kafka $ tar -xzf kafka_2.13-2.7.0.tgz $ cd kafka_2.13-2.7.0 3、启动zk（Kafka包中自带zk程序和配置文件） 配置ZK的日志路径 # Start the ZooKeeper service # No ...
分类：
其他好文 时间：
2021-02-04 12:16:31
阅读次数：
0
搭建kafka集群 一.要先搭建zookeeper集群 搭建伪集群来熟悉搭建步骤，也就是采用一台电脑和多台电脑的区别。 1.步骤 下载 zookeeper下载：https://downloads.apache.org/zookeeper/ 这里选用的是 我这里下载的是zookeeper-3.5.7, ...
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
单机版Kafka搭建参考：【Kafka】 Kafka安装 Kafka集群搭建 环境系统：CentOS 7.4 kafka版本：2.6.0 由于资源有限，只有一台服务器，本例搭建的是一个伪集群Kafka环境 1、搭建一个zookeeper集群，参考：【ZooKeeper】ZooKeeper安装及简单操 ...
分类：
其他好文 时间：
2020-11-23 12:20:32
阅读次数：
6
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
图灵学院 java架构师学习路线 1、首先我们需要在官网上下载好我们需要的kafka，zookeeper版本的安装包。如图，百度搜索zookeeper，点击红圈所示链接进入官网，按照下图步骤点击相应红圈处，到http链接下载随意点击一个下载链接即可，本人是点击最上面的推荐链接，然后进入下载链接后选择 ...
分类：
编程语言 时间：
2020-09-04 17:08:39
阅读次数：
42
前言：开发人员需要使用kafka集群，且要求需要用普通用户启动，整理了一下部署思路，其他中间件部署也可参考此思路来部署。前提条件：zookeeper集群kafka启动需要连接，因为kafka集群和zookeeper部署在同一租户下，我这边部署的zk集群地址为zk-0:2181,zk-1:2181,zk-2:2181,如果kafka和zookeeper不在一个租户下，跨租户访问，需要根据实际地址访问
分类：
其他好文 时间：
2020-08-13 12:31:17
阅读次数：
53
