一、入门1、简介Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf..
分类:
其他好文 时间:
2016-11-17 21:02:48
阅读次数:
193
运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式,用的是kafka自带的zookeeper, 分布式模式,用的是外部安装的zookeeper,即公共的zookeeper。 见博客 4 kafka集群部署 ...
分类:
其他好文 时间:
2016-11-17 12:41:07
阅读次数:
150
软件需求,软件包都上传到/usr/local/src目录:jdk-8u101-linux-x64.tar.gzkafka.2.11-0.8.22.tar.gzzookeeper-3.4.9.tar.gzkafka-manager-1.3.0.7.zip*kafka-manager是通过scala打包获取一个编译完的项目,需要提前编译好,参考https://github.com/yahoo/kafka-manager硬件需求..
分类:
其他好文 时间:
2016-11-15 20:35:35
阅读次数:
307
转载:http://blog.csdn.net/odailidong/article/details/52571901 这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分 ...
分类:
其他好文 时间:
2016-11-15 20:04:02
阅读次数:
241
本位以最新版本kafka_2.11-0.10.1.0版本讲述分布式kafka集群环境的搭建过程。服务器列表: 1.下载kafka安装包 登录kafka官网http://kafka.apache.org/, 单击左侧“Download”按钮 选择对应的版本,版本2.11代表scala版本(kafka是 ...
分类:
其他好文 时间:
2016-11-13 19:46:00
阅读次数:
483
Kakfa分布式集群搭建 本位以最新版本kafka_2.11-0.10.1.0版本讲述分布式kafka集群环境的搭建过程。服务器列表: 1 2 3 172.31.10.1 172.31.10.2 172.31.10.3 1 2 3 172.31.10.1 172.31.10.2 172.31.10. ...
分类:
其他好文 时间:
2016-11-13 19:10:32
阅读次数:
312
本博文的主要内容有 kafka的单机模式部署 kafka的分布式模式部署 生产者java客户端编程 消费者java客户端编程 运行kafka ,需要依赖 zookeeper,你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式,用的是kafka自带的zo ...
分类:
编程语言 时间:
2016-10-16 11:53:04
阅读次数:
527
一.zookeeper集群安装 # 环境 Install jdk Install zookeeper 二.kafka集群安装 # 环境 # 错误处理[2016-10-14 06:36:18,401] WARN Error while fetching metadata with correlatio ...
分类:
其他好文 时间:
2016-10-14 00:23:35
阅读次数:
314
1、简介Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组..
分类:
其他好文 时间:
2016-10-12 07:13:03
阅读次数:
285
#kafka数据的存放地址,多个地址的话用逗号分 log.dirs=/tmp/kafka-logs #broker server服务端口 port=9092 #这个参数会在日志segment没有达到log.segment.bytes设置的大小,也会强制新建一个segment会被 topic创建时的指 ...
分类:
其他好文 时间:
2016-10-06 07:04:06
阅读次数:
157