1.ProducerRecord 含义:发送给Kafka Broker的key/value值对2.内部数据结构：-- Topic（名字）-- PartitionID (可选)-- Key[(可选)-- Value3.生产者记录（简称PR）的发送逻辑: 若指定Partition ID,则PR被发送至指...
分类：
其他好文 时间：
2015-05-25 18:07:47
阅读次数：
208
创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111 [root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 .....
分类：
编程语言 时间：
2015-05-24 17:20:41
阅读次数：
3423
背景
需要实现一个分布式监控程序，Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息
需求
随着Agent数量的增加，每秒产生的消息数量也在增加，考虑到High Level的API使消费者进程与分区的固定关系，所以需要使用Zookeeper来维护一个消费者的集群，使消费者可以根据Kafka分区的数量以及消费者集群的个数，动态的分配每...
分类：
系统相关 时间：
2015-05-24 11:36:47
阅读次数：
722
四、TopicDeletionManager.scala管理topic删除的状态机，具体逻辑如下：TopicCommand发送topic删除命令，在zk的/admin/delete_topics目录下创建topic节点controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操...
分类：
其他好文 时间：
2015-05-22 13:19:17
阅读次数：
227
最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookee...
分类：
其他好文 时间：
2015-05-22 13:07:36
阅读次数：
187
kafka简介Kafka由linkedln开发，主要用于处理linkedln的大面积的活跃数据流（active stream）。此类数据经常用于反应网站的一些有用信息，如uv或pv。它是一个分布式的消息发布和订阅系统，由producer发布，broker存储、consusmer消费组成。安装为分布式...
分类：
其他好文 时间：
2015-05-20 02:04:41
阅读次数：
236
首先感谢 kafka 中国社区 王扬庭例子的帮助和指导~~~~~（kafka_2.9.2-0.8.1.1）kafka常用的发送消息的方法如下：Properties props = new Properties();props.put("zookeeper.connect", "slaves2:218...
分类：
其他好文 时间：
2015-05-19 18:44:14
阅读次数：
199
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
kafka是一个分布式的消息队列由scala编写，不同于传统的一些消息队列，kafka的设计理念与众不同。
1、kafka的特点
。快速
单台kafka的broker实例能够支撑几千台机器每秒几百兆字节的读写，如果组成集群性能会更强进，从很多人的测试情况来看kafka的读写性能表现不输于当前流行的消息队，甚至领先很多。
。扩展性
弹性透明的扩展，不需要停机，kafka的数据是分区的，可以...
分类：
其他好文 时间：
2015-05-18 01:13:38
阅读次数：
389
一、概要 1.1 Storm(简介) ? ? ?Storm是一个实时的可靠地分布式流计算框架。 ? ? ?具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor ...
分类：
其他好文 时间：
2015-05-17 21:59:55
阅读次数：
220
