本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及K...
分类：
其他好文 时间：
2015-03-29 19:20:03
阅读次数：
226
笔者最近在研究Kafka的message包代码，有了一些心得，特此记录一下。其实研究的目的从来都不是只是看源代码，更多地是想借这个机会思考几个问题：为什么是这么实现的？你自己实现方式是什么？比起人家的实现方式，你的方案有哪些优缺点？任何消息引擎系统最重要的都是定义消息，使用什么数据结构来保存消息和消...
分类：
其他好文 时间：
2015-03-29 17:55:33
阅读次数：
171
本文介绍了一种简单易行的使用rsyslog向kafka,elasticsearch推送日志的方法；rsyslog的omkafka插件的安装、使用方法；rsyslog的omelasticsearch插件的安装、使用方法。...
分类：
其他好文 时间：
2015-03-20 18:41:44
阅读次数：
374
SimplifiedParallelism:NoneedtocreatemultipleinputKafkastreamsandunion-ingthem.WithdirectStream,SparkStreamingwillcreateasmanyRDDpartitionsasthereisKafkapartitionstoconsume,whichwillallreaddatafromKafkainparallel.Sothereisone-to-onemappingbetweenKafkaandRDDp..
分类：
其他好文 时间：
2015-03-18 18:29:45
阅读次数：
630
Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处...
分类：
其他好文 时间：
2015-03-16 22:45:56
阅读次数：
302
Kafka is a distributed, partitioned, replicated commit log service.Terms:Topic: kafka maintains message in categories called topicsProducer: processes...
分类：
其他好文 时间：
2015-03-16 20:59:14
阅读次数：
126
使用flume收集数据，将数据传递给kafka和hdfs，kafka上的数据可以使用storm构建实时计算，而hdfs上的数据，经过MR处理之后可以导入hive中进行处理。 环境：hadoop1.2.1，hive 0.13.1，maven 3.2.5，flume 1.4，kafka 0.7.2，ec...
分类：
Web程序 时间：
2015-03-14 18:17:55
阅读次数：
4961
最近做的一个项目需要跟Kafka打交道，学习了很多相关知识，就到这里来汇总一下。kafka是一个传递消息的系统，原本是用来快速记录海量log的，现在也经常用作消息队列。它主要由三个部分组成，producer，broker以及consumer。producer发布消息，broker存储消息，consu...
分类：
其他好文 时间：
2015-03-14 06:05:48
阅读次数：
147
原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example
为什么使用High Level Consumer
在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。
消息消费已C...
分类：
其他好文 时间：
2015-03-13 18:53:10
阅读次数：
141
Kafka相关的文章比较多，且比较杂乱，如果都看完可能需要比较多的时间，本文对相关的关键知识点做一个总结，便于查阅...
分类：
其他好文 时间：
2015-03-13 18:50:52
阅读次数：
169
