数据分区存储
在topic内设置了多个分区,使kafka的消费者进程池能得到有序性保证和负载均衡,使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话,每个消费者是其消费的分区的唯一reader,在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。
具体流程:
1. Producer根据指定的partition方法,将消息发布到指定topic的par...
分类:
其他好文 时间:
2015-06-02 23:27:07
阅读次数:
147
Swift与Objective-C的对比系列(一)WWDC 2014上苹果再次惊世骇俗的推出了新的编程语言Swift 雨燕, 这个消息会前没有半点风声的走漏。消息发布当时,会场一片惊呼,相信全球看直播的码农们当时也感觉脑袋被敲了一记闷棍吧。于是熬夜学习了Swift大法,越看越想高呼 ” Swift大...
分类:
移动开发 时间:
2015-05-28 16:03:12
阅读次数:
314
kafka简介Kafka由linkedln开发,主要用于处理linkedln的大面积的活跃数据流(active stream)。此类数据经常用于反应网站的一些有用信息,如uv或pv。它是一个分布式的消息发布和订阅系统,由producer发布,broker存储、consusmer消费组成。安装为分布式...
分类:
其他好文 时间:
2015-05-20 02:04:41
阅读次数:
236
一、点对点模型概览当你只需要将消息发布送给唯一的一个消息消费者是,就应该使用点对点模型。虽然可能或有多个消费者在队列中侦听统一消息,但是,只有一个且仅有一个消费者线程会接受到该消息。
在p2p模型中,生产者称为发送者,而消费者则称为接受者。点对点模型最重要的特性如下:
消息通过称为队列的一个虚拟通道来进行交换。队列是生产者发送消息的目的地和接受者消费消息的消息源。
每条消息...
分类:
其他好文 时间:
2015-05-17 23:40:36
阅读次数:
272
LMAX 开源了一个高性能并发编程框架。可以理解为消费者-生产者的消息发布订阅模式。本文下载了官方示例代码,进行实验。
longEvent事件数据
public class LongEvent {
private long value;
public void set(long value) {
this.value = value;
}...
分类:
其他好文 时间:
2015-05-15 21:31:03
阅读次数:
222
2015年4月28日1个发布者,1个订阅者,topic方式1:先发布消息:然后订阅消息:方式2:先订阅消息:然后发布消息:订阅者如下:结论1:从上面可以看出,消息发布需要在线发布。1个发布者,2个订阅者,topic方式1:先发布消息:然后开启两个订阅者方式2:先开启两个订阅者:然后发布消息:看到订阅...
分类:
其他好文 时间:
2015-04-28 11:15:11
阅读次数:
214
最近刚被分配了以个消息发布的任务,其中用到了富文本编辑器。以前也用过,不过这次我选择的是百度富文本编辑器ueditor1_4_3-utf8-jsp版的。 其实看ueditor功能很强大,不过百度的设计还是很不错的。只需要稍微配置一下就可以用了。 首先下载到ueditor1_4_3-utf8-js.....
分类:
其他好文 时间:
2015-04-22 20:23:59
阅读次数:
156
既对ros tutorial 上的例子有了一定的了解之后,今天对发布器和订阅器代码(http://wiki.ros.org/cn/ROS/Tutorials/WritingPublisherSubscriber%28c%2B%2B%29)进行了研究,同时稍作改动进行了验证,
-------------------------------------------------------------...
分类:
其他好文 时间:
2015-03-29 21:02:16
阅读次数:
316
ActiveMQ的另一种模式就SUB/HUB即发布订阅模式,是SUB/hub就是一拖N的USB分线器的意思。意思就是一个来源分到N个出口。还是上节的例子,当一个订单产生后,后台N个系统需要联动,但有一个前提是都需要收到订单信息,那么我们就需要将一个生产者的消息发布到N个消费者。生产者: ...
分类:
其他好文 时间:
2014-11-27 21:44:59
阅读次数:
213
redis 发布订阅发布订阅(pub/sub)是一种消息通信模式,主要的目的是解耦消息发布者和消息订阅者之间的耦合,这点和设计模式中的观察者模式比较相似。pub /sub不仅仅解决发布者和订阅者直接代码级别耦合也解决两者在物理部署上的耦合。redis作为一个pub/sub server,在订阅者和发...
分类:
其他好文 时间:
2014-11-23 21:24:15
阅读次数:
275