环境 /opt/kafka_2.12-1.0.0 /opt/kafka（软连接） 软件下载 Kafka下载 http://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz JDK下载 https://download.oracle.co ...
分类：
其他好文 时间：
2019-04-07 10:08:07
阅读次数：
227
解压文件到安装目录 tar -zxvf kafka_2.10-0.10.2.1.tgz 1.进入目录 cd kafka_2.10-0.10.2.1 mkdir logs cd config cp server.properties server.properties.20190124 2.修改配置 ...
分类：
其他好文 时间：
2019-03-29 17:24:07
阅读次数：
127
kafka 学习（二） 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consu ...
分类：
其他好文 时间：
2019-03-27 10:47:16
阅读次数：
135
1.概述 Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天笔者将为大家详细介绍。 2.内容 本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图所示： ...
分类：
其他好文 时间：
2019-03-18 11:36:57
阅读次数：
148
Ranger-Kafka插件安装, 使用Ranger0.7.0版本，集成Kafka插件到Kafka集群, Kafka Plugin需要安装到所有的Kafka的集群节点上面。 1.登陆Kafka的安装用户 2.下载插件包 scp pub@10.43.156.193:/home/pub/ranger/r ...
分类：
其他好文 时间：
2019-03-13 15:12:14
阅读次数：
189
1 下载地址 http://www.kafkatool.com/download.html 2 下载dmg包，选择对应版本，我的kafka是2.1的版本，所以选择了Kafka Tool 2.0.4 3 安装过程，一路下一步 4 配置kafka集群，注意本机的hostname配置，根据个人机器情况配置 ...
分类：
系统相关 时间：
2019-03-12 10:36:00
阅读次数：
1061
第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka ...
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Sc ...
分类：
其他好文 时间：
2019-03-02 18:36:34
阅读次数：
191
Kafka是非常流行的分布式流式处理和大数据消息队列解决方案，在技术行业已经得到了广泛采用，在Dropbox也不例外。Kafka在Dropbox的很多分布式系统数据结构中发挥着重要的作用：数据分析、机器学习、监控、搜索和流式处理，等等。在Dropbox，Kafka集群由Jetstream团队负责管理，他们的主要职责是提供高质量的Kafka服务。他们的一个主要目标是了解Kafka在Dropbox基础
分类：
其他好文 时间：
2019-03-01 18:24:37
阅读次数：
216
kafka_2.11-0.9.0.1.tgz 1.进入项目前的目录 cd /home/cjpt mkdir kafka #创建项目目录 cd kafka #进入项目目录 mkdir kafkalogs #创建kafka消息目录，主要存放kafka消息 2.进入配置文件目录 cd /home/cjpt... ...
分类：
其他好文 时间：
2019-02-22 19:52:56
阅读次数：
172
