原文地址:http://blog.csdn.net/honglei915/article/details/37760631消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包括了一个版本和CRC32校验码。 /** * 具有N个字节的消息的格式例如以下 * * 假设版本是0 ...
分类:
其他好文 时间:
2014-08-09 15:45:28
阅读次数:
339
Kafka提供了Producer类作为java producer的api,该类有sync和async两种发送方式。...
分类:
其他好文 时间:
2014-08-08 18:22:46
阅读次数:
276
本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里: Kafka设计背景及原因 Kafka的设计特色 Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数...
分类:
其他好文 时间:
2014-08-08 16:36:56
阅读次数:
237
Apache kafka性能优化架构分析,分析了那些因素会影响kafka性能。kafka内部实现做了哪些优化和处理。...
分类:
其他好文 时间:
2014-08-08 16:06:46
阅读次数:
298
什么时间使用高级应用? 针对一个消息读取多次 在一个process中,仅仅处理一个topic中的一组partitions 使用事务,确保每个消息只被处理一次 使用高级应用(调用较底层函数)的缺点? ????SimpleConsumer需要...
分类:
编程语言 时间:
2014-08-08 13:01:46
阅读次数:
340
由于项目需要,最近对storm进行了预研,安装与使用方式网上有很多示例,在此记录一下,备忘。 一、storm简介 ????Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。S...
分类:
其他好文 时间:
2014-08-06 12:04:11
阅读次数:
409
1 背景 最近由于项目需要,需要使用kafka的producer。但是对于c++,kafka官方并没有很好的支持。 在kafka官网上可以找到0.8.x的客户端。可以使用的客户端有C版本客户端,此客户端虽然目前看来还较为活跃,但是代码问题还是较多的,而且对于c++的支持并不是很好。 还有c++版本,...
分类:
其他好文 时间:
2014-08-06 01:42:30
阅读次数:
407
Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说越仔细越好。
分类:
其他好文 时间:
2014-08-02 23:13:04
阅读次数:
267
openfire 访问 user service 插件 访问不到安照说明文档,我访问创建用户的url 如下http://127.0.0.1:9090/plugins/userservice/userservice?type=add&secret=bigsecret&username=kafka&pa...
分类:
其他好文 时间:
2014-08-01 10:46:01
阅读次数:
152