一、什么是redis redis是一个开源的,内存中的数据结构存储系统,key-value的非关系型数据库,它可以作为数据库,缓存和消息中间件,支持持久化。 二、redis的安装和卸载 1.版本为奇数的是不稳定版本。为偶数的是稳定版本。 2.官网下载redis,也可一在linux中使用wget命令下 ...
分类:
其他好文 时间:
2019-11-10 19:40:09
阅读次数:
88
我们都知道Kafka非常快,比绝大多数的市场上其他消息中间件都要快。这里来研究下那么为什么Kafka那么快(当然不会是因为它用了Scala)。 Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间。 但是实际上,Kafka其中一个特性却是高吞吐率,即 ...
分类:
其他好文 时间:
2019-11-10 10:28:53
阅读次数:
93
Kafka的用途有哪些?使用场景如何? 消息系统: Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时,Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储系统: Kafka 把消息持久化 ...
分类:
其他好文 时间:
2019-11-07 15:19:05
阅读次数:
107
一、为什么要使用MQ消息中间件? 一个用消息队列的人,不知道为啥用,有点尴尬。没有复习这点,很容易被问蒙,然后就开始胡扯了。 回答:这个问题,咱只答三个最主要的应用场景,不可否认还有其他的,但是只答三个主要的,即以下六个字: 解耦、异步、削峰 1、解耦 传统模式: 传统模式的缺点: 系统间耦合性太强 ...
分类:
其他好文 时间:
2019-11-06 09:15:59
阅读次数:
87
一、初识RabbitMQ 百度百科有这么一句话: 他的官网中用大大的黑粗字体写着: 由此可见,RabbitMQ是一个消息中间件,生产者生成消息,消费者消费消息,它遵循AMQP(高级消息队列协议),是最广泛部署的开源消息代理。 另外,RabbitMQ是用Erlang语言实现的,它有几个概念: ...
前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 概念MQ简介MQ,Message queue,消息队列,就是指保存消息的一个容器。具体的定义这里就不类似于数据 ...
分类:
其他好文 时间:
2019-11-04 15:54:24
阅读次数:
96
http://blog.csdn.net/javahongxi/article/details/54411464 [京东技术]京东的MQ经历了JQ->AMQ->JMQ的发展,其中JQ的基于关系数据库,严格意义上讲称不上消息中间件,JMQ的存储是JFS和HBase,AMQ即ActiveMQ,本文说说J ...
分类:
其他好文 时间:
2019-11-04 13:15:40
阅读次数:
82
Celery架构 Celery架构由三部分组成,消息中间件(message broker) , 任务执行单元(worker) 和任务执行结果储存(backend-task result store)组成 安装的celery主体模块,默认只提供worker,要结合其他技术提供broker和backen ...
分类:
其他好文 时间:
2019-11-03 01:26:08
阅读次数:
72
首先,rabbitMQ是一款开源,ERlang编写的,基于AMQP协议的,消息中间件; 它可以做到:解耦、异步、削疯限流; 挂机可能造成稳定性问题;加入系统的复杂性; 如何保证rabbitMQ的高可用,搭建集群; 如何做到重复消费:确保消息唯一性,做唯一标识; 然后,kafka是apache一款分布 ...
分类:
其他好文 时间:
2019-11-02 19:35:06
阅读次数:
130
一、什么是celery Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 二、Celery架构 Celery的架构由三部分组成,消息中间件(message broker)、任务执行单元(worker)和 任务执行结果存储(task re ...
分类:
其他好文 时间:
2019-11-02 18:11:17
阅读次数:
75