安装Kafka集群
假设我们有集群中,需要配置4个broker,形成下面图表的Kafka集群。
2.1 配置文件
配置所有的Kafka的Producer文件,其中,brokerpid的值是独一无二的数字值。几个核心属性如下:
# The id of the broker.This must be set to a unique integer for each broke...
分类:
其他好文 时间:
2014-08-29 11:05:47
阅读次数:
293
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类:
其他好文 时间:
2014-08-14 20:00:59
阅读次数:
283
Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说越仔细越好。
分类:
其他好文 时间:
2014-08-02 23:13:04
阅读次数:
267
Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置
单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例,用下面这个命令即可,首先进入Kafka的安装...
分类:
其他好文 时间:
2014-07-31 20:59:27
阅读次数:
334
介绍略 集群安装: 一.准备工作: 1.版本介绍: 目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择) 2.环境准备: 安装JDK6,目前使用版本为1.6,并配置JAV...
分类:
其他好文 时间:
2014-07-21 10:25:51
阅读次数:
173
本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容:
Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制
一、kafka由来
由于对JMS日常管理的过度开支和...
分类:
其他好文 时间:
2014-07-11 00:59:04
阅读次数:
246
Kafka是一个分布式的消息中间件,可以粗略的将其划分为三部分:Producer、Broker和Consumer。其中,Producer负责产生消息并负责将消息发送给Kafka;Broker可以简单的理解为Kafka集群中的每一台机器,其负责完成消息队列的主要功能(接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....);Consumer从Broker获取消息并进行后续的操作。...
分类:
其他好文 时间:
2014-06-27 23:55:13
阅读次数:
387
刚接触一些Apache Kafka的内容,用了两天时间研究了一下,仅以此文做相关记录,以供学习交流。概念:kafka依赖的项:1.硬件上,kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩,5.kafka对事务处理比...
分类:
其他好文 时间:
2014-06-20 18:18:45
阅读次数:
329
zookeeper+kafka集群安装之zookeeper集群...
分类:
其他好文 时间:
2014-05-26 04:42:01
阅读次数:
190
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类:
其他好文 时间:
2014-05-24 20:48:48
阅读次数:
269