本篇紧接着概念篇,从宏观角度上看一下Samza实时计算服务的架构是什么样的?
Samza是由以下三层构成:
1. 数据流层(A streaming layer)
2. 执行层(An execution layer)
3. 处理层(A progressing layer)
那Samza是依靠哪些技术完成以上三层的组合呢...
分类:
其他好文 时间:
2014-10-29 17:11:57
阅读次数:
261
java消息中间件原理图。
blog:用图说话。...
分类:
其他好文 时间:
2014-10-27 12:47:24
阅读次数:
137
前言话说EventBroker这玩意已经不是什么新鲜货了,记得第一次接触这玩意是在进第二家公司的时候,公司产品基础架构层中集成了分布式消息中间件,在.net基础服务层中使用EventBroker的模式将消息组装成事件,支持同域、跨域和跨机器进行事件的发布和订阅,后来才知道这玩意叫做EventBrok...
以一个真实的案例来谈对于一个长耗时的任务或者业务逻辑有哪些常用的优化手段。...
分类:
其他好文 时间:
2014-10-22 20:26:21
阅读次数:
186
为达到系统的高可靠性、高可用性以及并发处理能力,我们常常采用一些负载均衡的设备(如F5)等进行集群方案。但是,也会存在一些特殊的情况,比如长连接、特殊的技术协议等,不适用于采用F5等设备来解决,双工异步通讯机充当了软F5的作用。
双工异步通讯机的架构如下:
双工异步通讯机根据部署架构情况,即可支持“上行”也可支持“下行”。其主要功能是双工异步、负载均衡、故障探测隔离、双机热备(心...
分类:
其他好文 时间:
2014-10-20 15:12:44
阅读次数:
188
最近在做一个消息中间件里面涉及到多线程编程,由于跨平台的原因我采用了boost线程库。在创建线程时遇到了几种线程创建方式现总结如下: 首先看看boost::thread的构造函数吧,boost::thread有两个构造函数:(1)thread():构造一个表示当前执行线程的线程对象;(2)expl....
分类:
其他好文 时间:
2014-10-13 19:48:17
阅读次数:
292
一、消息中间件MOM(Message-Oriented Middleware)
消息中间件是解决异步分布式系统中通讯和排队问题的中间件技术。它利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。
二、ActiveMQ
1、概述
ActiveMQ 则是MOM的一个跨语...
分类:
其他好文 时间:
2014-10-11 18:52:35
阅读次数:
308
ZeroMQ是一个轻量级的消息通信组件,尽管名字中包含了"MQ",严格上来讲ZeroMQ并不是"消息队列/消息中间件"。ZeroMQ是一个传输层API库, 更关注消息的传输。与消息队列相比,ZeroMQ有以下一些特点:
点对点无中间节点
传统的消息队列都需要一个消息服务器来存储转发消息。而ZeroM...
分类:
其他好文 时间:
2014-10-08 00:08:04
阅读次数:
251
总体结构: 内部结构: 主要特点: ? 生产者、服务器和消费者都可分布 消息存储顺序写 性能极高,吞吐量大 支持消息顺序 支持本地和XA事务 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据 支持...
分类:
编程语言 时间:
2014-10-07 23:15:34
阅读次数:
378
1.什么是AMQP协议 即高级消息队列协议,规范客户端与消息中间件服务器之间的通信,并能相互操作。2.AMQP协议的作用 降低应用程序之间的耦合度,这样不同应用之间的集成的难度将变得更小,并开发出更有用的应用程序 。3.AMQP协议的模型 包含三个成员:Exchange,Message Queue,...
分类:
其他好文 时间:
2014-10-05 18:51:28
阅读次数:
230