Set a multi node Apache ZooKeeper clusterOn every node of the cluster add the following lines to the filekafka/config/zookeeper.propertiesserver.1=zNo...
分类：
Web程序 时间：
2014-10-11 13:20:15
阅读次数：
253
1.前言首先，描述下应用场景：假设，公司有一款游戏，需要做行为统计分析，数据的源头来自日志，由于用户行为非常多，导致日志量非常大。将日志数据插入数据库然后再进行分析，已经满足不了。最好的办法是存日志，然后通过对日志的分析，计算出有用的数据。我们采用kafka这种分..
分类：
其他好文 时间：
2014-10-08 02:00:35
阅读次数：
562
1 package producer; 2 3 public class SyncStack { 4 int index =0; 5 SteamedBun[] bunArr = new SteamedBun[6]; //栈里只能放6个元素 6 7 ...
分类：
编程语言 时间：
2014-10-07 13:11:23
阅读次数：
228
1、引言 Disruptor是一个开源的Java框架，它被设计用于在生产者—消费者（producer-consumer problem，简称PCP）问题上获得尽量高的吞吐量（TPS）和尽量低的延迟。Disruptor是LMAX在线交易平台的关键组成部分，LMAX平台使用该框架对订单处理速度能达到6....
分类：
其他好文 时间：
2014-10-02 02:19:02
阅读次数：
320
kafka概念：
kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据，比如网页的访问量pm,日志等，既能够实时处理大数据信息
也能离线处理。
特点：
1.高吞吐量
2.是一种显式的分布式系统，它假设，数据生产者（producer）,代理（brokers）和数据使用者（consum...
分类：
其他好文 时间：
2014-09-29 20:09:12
阅读次数：
196
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2014-09-29 11:14:57
阅读次数：
283
Getting Started ? 入门 1.1 Introduction ? 简介 ?? Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, ?but with a unique d...
分类：
其他好文 时间：
2014-09-28 20:10:56
阅读次数：
450
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
总结：
???1.kafka?中可以分步不同的组，消息可以被不同组里面的消费者多次消费
???2.?观察zookeeper中kafka中的信息：
[zk:?air00:2181(CONNECTED)?8]?ls?/
[consumers,?config,?controller,?adm...
分类：
其他好文 时间：
2014-09-25 16:08:39
阅读次数：
209
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战：怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）...
分类：
其他好文 时间：
2014-09-23 14:04:14
阅读次数：
295
