1）解压安装包 [hadoop@mastersoftware]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2）修改解压后的文件名称 [hadoop@mastermodule]$ mv kafka_2.11-0.11.0.0/ kafka 3 ...
分类：
其他好文 时间：
2019-11-20 21:18:35
阅读次数：
53
最近公司项目需要用到kafka消息队列，所以特地花了一个周末的时间对kafka的搭建以及使用做了一个了解，特地记录一下。 kafka搭建需要依赖于zookeeper作为注册中心，前面两篇文已经介绍了zookeeper的环境搭建，现在将记录一下kafka的搭建，同样也是选取三个节点 如下： Node1 ...
分类：
其他好文 时间：
2019-11-17 18:19:16
阅读次数：
79
虽然kafka集群部署的文章网络的到处都是，但是还是想把自己亲自操作的过程记录一下，同时也可以记录一下遇到的问题，避免以后部署的时候再遇到。 一、安装 1、下载，地址： https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.1 ...
分类：
其他好文 时间：
2019-11-10 09:44:02
阅读次数：
75
Apache Kafka 是 LinkedIn 基础设施的核心组件，最初是作为内部流式处理平台而诞生的，后来被开源出来，并得到了外部的广泛采用。虽然有很多公司和项目在使用 Kafka，但他们的数据规模很少能够达到 LinkedIn 这样。Kafka 被广泛地应用在 LinkedIn 的软件栈中，用于活动追踪、消息交换、指标收集，等等。LinkedIn 有 100 多个 Kafka 集群，其中包含了 4000 多个 broker，总共有 10 万多个 topic 和 700 万个分区。截止到目前，LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。
分类：
其他好文 时间：
2019-11-09 00:24:55
阅读次数：
134
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。本文对其进行部署配置，并安装配置kafkatool对kafka进行监控、查询 一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka ...
分类：
其他好文 时间：
2019-11-01 16:13:26
阅读次数：
88
一：kafka介绍kafka（官网地址：http://kafka.apache.org）是一种高吞吐量的分布式发布订阅的消息队列系统，具有高性能和高吞吐率。 1.1 术语介绍BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic主题：每条发布到Kafka集群的消息都有 ...
分类：
其他好文 时间：
2019-11-01 13:09:11
阅读次数：
67
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。 因为Kafka集群是把状态信息保存在Zooke ...
分类：
其他好文 时间：
2019-10-19 09:20:57
阅读次数：
76
kafka的术语（Terminology） Topic 和Consumer Group Topic 每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic 的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上但用户只需指定 ...
分类：
其他好文 时间：
2019-10-06 11:05:33
阅读次数：
46
前提：1、准备3台linux虚机 2、已搭建zk环境 以下是实操命令步骤 一、下载kafka[app@kafkanode01 ~]$ mkdir kafka[app@kafkanode01 ~]$ cd kafka[app@kafkanode01 kafka]$ mkdir kafka-logs[a ...
分类：
其他好文 时间：
2019-10-04 22:34:16
阅读次数：
93
Centos7.4 kafka集群安装与kafka eagle1.3.9的安装 集群规划: | hostname | Zookeeper | Kafka | kafka eagle | | | | | | | kafka01 | √ | √ | √ | | kafka02 | √ | √ | | | ...
分类：
其他好文 时间：
2019-10-04 16:57:46
阅读次数：
110
