0、引言 Kafka是LinkedIn开源出来的一款消息服务器，用Scala语言实现；这货的性能是百万级的QPS(估计是挂载了多块磁盘)，我随便写个测试程序就是十万级。 1、Kafka基本概念 在Kafka中消息是按照Topic进行分类的；每条发布到Kafka集群的消息都有一个类别，这个类别被称为T ...
分类：
其他好文 时间：
2017-02-17 14:54:08
阅读次数：
251
对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
一、环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/redhat-release查询 2.软件版本 Kafka版本为：0.10.0.0 二、软件的基础准备 由于Kafka集群需要依赖ZooKeeper集群来 ...
分类：
其他好文 时间：
2017-01-19 07:41:29
阅读次数：
357
Kafka是一个分布式的发布／订阅消息系统。 1、producer和consumer是kafka的概念，发送消息到“topic”的就是“producer”；订阅“topic”和处理“feeds of message” 的就叫“consumer”； 2、broker是kafka集群上的服务器，每一个k ...
分类：
其他好文 时间：
2017-01-19 00:49:02
阅读次数：
158
kafka是linkedin用于日志处理的分布式消息队列， 同时支持离线和在线日志处理。 kafka对消息保存时根据Topic进行归类， 发送消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有多个kafka实例组成， 每个实例(server)称为broker。 ...
分类：
其他好文 时间：
2017-01-14 21:01:10
阅读次数：
237
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2016-12-28 23:30:42
阅读次数：
472
集群安装1、解压2、修改server.propertiesbroker.id=1zookeeper.connect=work01:2181,work02:2181,work03:21813、将zookeeper集群启动4、在每一台节点上启动brokerbin/kafka-server-start.s ...
分类：
其他好文 时间：
2016-11-30 02:15:29
阅读次数：
228
需求：对全kafka集群中的topic：imp-imps-app-web增加partition和replicate1.kafka扩容首先按照搭建步骤，在其他机器上搭建集群，kafka的配置文件中zkconnect要保持与原kafka一致2.验证kafka新节点是否加入集群成功，这个应该去zookeeper的zkCli.sh去查看[zk:localhost:2181(CO..
分类：
其他好文 时间：
2016-11-26 00:17:02
阅读次数：
232
首先，看一下遇到的问题：PartitionsreassignmentfailedduetoPartitionreassignmentdatafileimp-imps-app-web.jsonisemptykafka.common.AdminCommandFailedException:Partitionreassignmentdatafileimp-imps-app-web.jsonisemptyatkafka.admin.ReassignPartitionsCommand$.exec..
分类：
其他好文 时间：
2016-11-25 14:33:43
阅读次数：
2484
一、事前准备 1.kafka官网：http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:（linux） 192.168.145.129 主机名：kafka01 192.168.145.130 kafka02 192.168.145. ...
分类：
其他好文 时间：
2016-11-21 19:57:57
阅读次数：
160
