详细分析了KafkaSpout的一些代码,希望能够帮助一下人,同时也是自己看代码的一个总结。...
分类:
Web程序 时间:
2014-11-08 15:20:40
阅读次数:
518
http://stackoverflow.com/questions/23228222/running-into-leadernotavailableexception-when-using-kafka-0-8-1-with-zookeeper-3
Kafka uses an external coordination framework (by default Zookeeper) t...
分类:
Web程序 时间:
2014-11-06 13:09:23
阅读次数:
1423
业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比,在应用场景方面,RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份...
分类:
其他好文 时间:
2014-11-05 14:30:10
阅读次数:
187
将之前自己调研的kafka相关的资料分享给你大家,只是简单研究,作为技术选型的前期准备使用,不设计到很深入使用。...
分类:
其他好文 时间:
2014-11-05 10:55:41
阅读次数:
271
Apache Samza is a distributed stream processing framework. It uses Apache
Kafka for messaging, and Apache
Hadoop YARN to provide fault tolerance, processor isolation, security, and resource manage...
分类:
其他好文 时间:
2014-11-02 16:36:31
阅读次数:
255
文章源地址:https://github.com/edenhill/librdkafka/blob/master/INTRODUCTION.md
librdkafka 是Apache Kafka 客户端C语言的高性能实现, 能够提供可靠并且表现优秀的客户端,同时它也提供比较初级的C++界面。
Contents
本文主要包含以下章节:
一、性能...
分类:
编程语言 时间:
2014-10-31 11:57:45
阅读次数:
1263
后面为了引入Dubbo RPC框架(用spring配置),先把spring 引入jstorm中,请先了解一下jsorm多线程方面的文档:http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html .
A worker process exe...
分类:
编程语言 时间:
2014-10-30 22:43:42
阅读次数:
517
本地模式启动的.
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类:
编程语言 时间:
2014-10-30 22:37:43
阅读次数:
465
kafka文件系统设计那些事,从架构层面,实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段,容易定时清除或删除已经消费完文件,减少磁盘占用。
index全部映射到memory直接操作,避免segment file被交换到磁盘增加IO操作次数。
根据索引信息,可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储,节省空间大小。...
分类:
其他好文 时间:
2014-10-28 20:08:50
阅读次数:
368
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类:
Web程序 时间:
2014-10-26 09:07:44
阅读次数:
383