kafka是一个开源的分布式消息队列他提供可靠的集群容错机制，并保证故障切换时的数据完整性。下面简单记录一下安装步骤和常用命令。1、安装http://kafka.apache.org/documentation.html下载压缩包并解压可以解压到 /usr/local/kafka2、配置vim co...
分类：
其他好文 时间：
2015-05-14 23:39:51
阅读次数：
20804
kafka集群部署多机多broker模式环境IP:172.16.1.35zookeeperkafka172.16.1.36zookeeperkafka172.16.1.37zookeeperkafka开放端口2181288838889092编辑server.properties文件(以下为172.16.1.35的配置)#在默认的配置上，我只修改了4个地方。broker.id=三个主机172.16.1.35,172.16..
分类：
其他好文 时间：
2015-05-14 14:29:56
阅读次数：
261
Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。如果当前的controller失败了，会从剩下的broker中选出新的controller。一、PartitionLeaderSelector.scala顾名思义就是为分区选...
分类：
其他好文 时间：
2015-05-13 18:42:48
阅读次数：
223
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其...
分类：
Web程序 时间：
2015-05-13 16:04:15
阅读次数：
266
原文:http://calvin1978.blogcn.com/articles/kafkaio.html关于文件IO和cache, 让我们对page cache不再陌生.0. Overview卡夫卡说：不要害怕文件系统。它就那么简简单单地用顺序写的普通文件，借力于Linux内核的Page Cach...
分类：
Web程序 时间：
2015-05-11 10:26:15
阅读次数：
168
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
Storm0.9.4安装 - OPEN 开发经验库bin/zkServer.sh start /home/guym/down/kafka_2.8.0-0.8.0/config/zookeeper.properties&bin/kafka-server-start.sh config/server.p...
分类：
其他好文 时间：
2015-05-06 20:57:48
阅读次数：
204
数据文件的分段 Kafka解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，...
分类：
其他好文 时间：
2015-05-06 15:31:33
阅读次数：
118
数据文件的分段Kafka解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，数据文件以该段中最小的offset命名。这样在查找指定offset的Messa..
分类：
其他好文 时间：
2015-05-06 15:20:35
阅读次数：
131
