柯南君上一章《柯南君:看大数据时代下的IT架构(1)业界消息队列对比 》中,粗略的讲了一下,目前消息队列的几种常见产品的优劣对比,接下来的几章节会分别详细阐述,本章介绍RabbitMQ,好吧,废话少说,正式开始:
一、基础概念详细介绍
1、引言
你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎?如果是,那么恭喜你,消...
分类:
其他好文 时间:
2014-12-14 13:20:53
阅读次数:
214
MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付...
分类:
Web程序 时间:
2014-12-10 22:42:01
阅读次数:
288
淘宝在数据存储和处理领域在国内互联网公司中一直保持比较靠前的位置,而且由于电子商务领域独特的应用场景,淘宝在数据实时性和大规模计算及挖掘方面一直在国内保持着领先,因此积累了很多的实践的经验和产品。TimeTunnel基于Hbase打造的消息中间件,具有高可靠、消息顺序、事务等传统特性,还能按时间维度...
分类:
其他好文 时间:
2014-11-30 00:24:50
阅读次数:
248
问题现象RocketMQ3.2.2版本,测试时尝试发送消息时自动创建Topic,设置了队列数量为8:producer.setDefaultTopicQueueNums(8);同时设置broker服务器的配置文件broker.properties:defaultTopicQueueNums=16但实际创建后从控制台及后台打印代码观察到该Topic只创建了4个队列,反..
分类:
其他好文 时间:
2014-11-22 02:09:11
阅读次数:
9396
消息中间件认识消息中间件是指一类软件,是基于分布式处理的软件,最突出的特点是其网络通信功能也可认为中间件是位于平台和应用之间的通用服务,这些服务具有标准的程序接口和协议。针对不同的操作系统和硬件平台,可以有符合接口和协议的多种实现消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据...
分类:
其他好文 时间:
2014-11-14 22:46:53
阅读次数:
164
一. Kafka中的相关概念的介绍
Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下:
Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成message>对然...
分类:
其他好文 时间:
2014-11-13 22:37:11
阅读次数:
353
jms即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。jms同时也可...
分类:
其他好文 时间:
2014-11-08 13:26:36
阅读次数:
164
将之前自己调研的kafka相关的资料分享给你大家,只是简单研究,作为技术选型的前期准备使用,不设计到很深入使用。...
分类:
其他好文 时间:
2014-11-05 10:55:41
阅读次数:
271
消息调度中心作为云计算的中枢系统,承载的功能很多,需要兼容各种类型的任务需求。借鉴优秀企业的做法,以及开源项目,做最适合我们自己的系统。...
分类:
其他好文 时间:
2014-11-03 16:25:00
阅读次数:
215