Kafka概述 Kafka是一个基于发布、订阅的分布式消息队列,用于大数据实时处理。 为什么要用kafka? 注册信息的过程,先在网站上填写注册信息,后台会调用其他服务的接口,反馈给网页注册成功信息,最后再显示给用户,并且将短信发送给用户,该过程为同步通信过程,需要同步等待,由于同步通信的过程比较慢 ...
分类:
其他好文 时间:
2021-06-02 12:12:15
阅读次数:
0
RabbitMQ 特点 RabbitMQ 相较于其他消息队列,有一系列防止消息丢失的措施,拥有强悍的高可用性能,它的吞吐量可能没有其他消息队列大,但是其消息的保障性出类拔萃,被广泛用于金融类业务。 AMQP 协议 AMQP: Advanced Message Queuing Protocol 高级消 ...
分类:
其他好文 时间:
2021-05-24 14:47:13
阅读次数:
0
读写分离负载均衡/集群消息队列Redis分布式缓存:本地缓存 分布式缓存分库分表 解决高并发的方法1.水平扩展:多来几台服务器2.垂直扩展 :立杆见影,但是有上限3.分布式:就是一台服务器 的事儿分成多台服务器协作完成集群:一台服务器做的事请,现在由多台服务器共同承载,每台服务器都是独立完成的集群— ...
分类:
其他好文 时间:
2021-05-24 05:16:23
阅读次数:
0
一、kafka Kafka是一个分布式的消息系统。 二、解决问题 消息系统通常被应用于异步处理、应用解耦、流量削峰、消息通信等场景。 异步处理 image-20210315230129937 生产者将消息写入消息队列中,消费者异步拉取消息队列消息,从而提升消息处理能力。 应用解耦 image-202 ...
分类:
其他好文 时间:
2021-05-23 23:45:42
阅读次数:
0
ansible批量部署node_exporter; 基于consul服务发现; 将node_exporter所在机器的ip和端口注册到consul; 普罗米修斯从consul获取到ip和端口自动加入监控 100台:web、db、负载均衡、消息队列 "id": "web-1","name": "web ...
分类:
其他好文 时间:
2021-05-04 15:32:29
阅读次数:
0
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了,我们经常在业务中用其存储用户登陆态(Session存储),加速一些热数据的查询(相比较mysql而言,速度有数量级的提升),做简单的消息队列(LPUSH和BRPOP)、订阅发布(PUB/SUB)系统等等。规模比较 ...
分类:
其他好文 时间:
2021-05-03 12:08:07
阅读次数:
0
RabbitMQ作为当前流行的消息队列之一,是基于Erlang语言开发的,对AMQP【Advanced Message Queue,高级消息队列协议】的开源实现。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。本文主要简述RabbitMQ的相关概念和简单控制台介绍,仅供学习... ...
分类:
其他好文 时间:
2021-04-30 12:34:01
阅读次数:
0
JS里面的事件循环,跟JS的单线程的处理机制息息相关,它把js代码处理成任务里的frame,按照如图的分类,划分进去分轮次的宏任务和微任务队列里面。 宏任务仔细划分的话,包括的就是主调用栈和消息队列,代码优先推入调用栈,遇到定时器,promise.then()等之类的函数会推入消息队列和微任务队列 ...
分类:
Web程序 时间:
2021-04-28 12:14:53
阅读次数:
0
需要使用幂等的场景: 前端重复提交 接口超时重试 消息队列重复消费 解决方案: token机制:①客户端请求获取token,服务端生成一个唯一ID作为token存在redis中;②客户端第二次请求时携带token,服务端校验token成功则执行业务操作并删除token,服务端校验token失败则表示 ...
分类:
其他好文 时间:
2021-04-22 16:19:38
阅读次数:
0
市场上常见的消息队列有如下: ActiveMQ:基于JMS ZeroMQ:基于C语言开发 RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好 RocketMQ:基于JMS,阿里巴巴产品 Kafka:类似MQ的产品;分布式消息系统,高吞吐量 用rabbitmq比较多 ...
分类:
其他好文 时间:
2021-04-19 15:27:26
阅读次数:
0