最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.properties, 这个大家都应该会改, ...
分类：
其他好文 时间：
2014-09-04 23:31:00
阅读次数：
607
http://kafka.apache.org/08/configuration.html Broker Configs 4个必填参数， broker.id Each broker is uniquely identified by a non-negative integer id broker唯...
分类：
其他好文 时间：
2014-09-04 18:33:49
阅读次数：
174
0.8的官方文档提供了一个删除topic的命令：kafka-topics.sh--delete但是在运行时会报错找不到这个方法。kafka-topics.sh最终是运行了kafka.admin.TopicCommand这个类，在0.8的源码中这个类中没有找到有deletetopic相关的代码。在kafka的admin包下，提供了一个DeleteTopicComman..
分类：
其他好文 时间：
2014-09-03 02:42:26
阅读次数：
1415
安装Kafka集群
假设我们有集群中，需要配置4个broker，形成下面图表的Kafka集群。
2.1 配置文件
配置所有的Kafka的Producer文件，其中，brokerpid的值是独一无二的数字值。几个核心属性如下：
# The id of the broker.This must be set to a unique integer for each broke...
分类：
其他好文 时间：
2014-08-29 11:05:47
阅读次数：
293
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
Apache Kafka是一个开源、分布式发布订阅消息系统，主要设计了下面这些特性：
l 持久化消息：从大数据中提取真正的数据值，任何类型的数据丢失都不能够再获取。Apache Kafka提供了持续时间存储大容量消息，其容量按顺心可以达到TB。
l 高吞吐量：为大数据而生，Kafka就是运行在商业硬件上而设计的，它支持每秒百万消息量。
l 分布式：A...
分类：
其他好文 时间：
2014-08-29 11:03:47
阅读次数：
235
1.??? 配置 ?? Broker主要配置 ? 参数 默认值 说明(解释) broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 ...
分类：
其他好文 时间：
2014-08-21 11:45:34
阅读次数：
389
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上.哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1, 说是0.8.2才提供老机器的退役功能...
分类：
其他好文 时间：
2014-08-19 18:25:35
阅读次数：
196
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会...
分类：
其他好文 时间：
2014-08-19 13:03:24
阅读次数：
475
