编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
Apache Kafka是一个开源、分布式发布订阅消息系统，主要设计了下面这些特性：
l 持久化消息：从大数据中提取真正的数据值，任何类型的数据丢失都不能够再获取。Apache Kafka提供了持续时间存储大容量消息，其容量按顺心可以达到TB。
l 高吞吐量：为大数据而生，Kafka就是运行在商业硬件上而设计的，它支持每秒百万消息量。
l 分布式：A...
分类：
其他好文 时间：
2014-08-29 11:03:47
阅读次数：
235
1.??? 配置 ?? Broker主要配置 ? 参数 默认值 说明(解释) broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 ...
分类：
其他好文 时间：
2014-08-21 11:45:34
阅读次数：
389
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上.哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1, 说是0.8.2才提供老机器的退役功能...
分类：
其他好文 时间：
2014-08-19 18:25:35
阅读次数：
196
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会...
分类：
其他好文 时间：
2014-08-19 13:03:24
阅读次数：
475
一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类：
其他好文 时间：
2014-08-18 14:40:12
阅读次数：
315
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
如何收集这些巨大的信息如何分析它 如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两...
分类：
其他好文 时间：
2014-08-18 12:38:34
阅读次数：
191
Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
