一次机房停电引发的思考今天早上到公司的时候,接到开发反馈DEV环境所有接口都卡,耗时都在一分钟以上,严重影响开发正常工作,然后通过网关的日志定位到原因是因为kafka集群不可用(总共3个broker,前一天晚上机房停电导致leader节点挂了),导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s,当时在想这个send方法不是异步的吗,为什么会阻塞60s?
分类:
其他好文 时间:
2020-07-31 01:13:59
阅读次数:
93
基于分布式异步框架celery 前文已知,celery可以执行异步任务、延时任务、定时任务。 broker:'redis://127.0.0.1:6379/2' # 消息队列(中间件) broker 可以使用Redis、RabbitMQ backend:'redis://127.0.0.1:6379 ...
分类:
其他好文 时间:
2020-07-27 23:58:21
阅读次数:
99
一、创建celery包 1、新建一个包,任意命名,如,celery_task。 2、包内创建celery对象,指定命名为celery.py: from celery import Celery broker = 'redis://127.0.0.1:6379/1' backend = 'redis: ...
分类:
其他好文 时间:
2020-07-27 23:34:07
阅读次数:
76
一.消息的可靠投递 在使用RabbitMq的时候,作为消息发送方希望杜绝任何消息丢失或者投递失败的场景。RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性 rabbitMQ 整个消息投递过程为: producer -> rabbitMQ broker -> exchange -> queu ...
分类:
其他好文 时间:
2020-07-27 17:53:27
阅读次数:
116
1.主库 [oracle@xag1124a ~]$ sqlplus / as sysdba SQL> select protection_mode,protection_level,log_mode,open_mode,flashback_on from v$database; PROTECTION ...
分类:
数据库 时间:
2020-07-25 23:57:18
阅读次数:
177
1、任务(tasks)–用户定义的函数,用于实现用户的功能,比如执行一个耗时很长的任务 2、中间介(Broker)–用于存放tasks的地方,但是这个中间介需要解决一个问题,就是可能需要存放非常非常多的tasks,而且要保证Worker能够从这里拿取 3、执行者(Worker)–用于执行tasks, ...
分类:
其他好文 时间:
2020-07-23 15:52:53
阅读次数:
69
启动RocketMQ 启动nameserver 修改broker配置参数,新增 messageDelayLevel=1s 2s 4s 8s 16s 32s 64s 128s 256s 512s 1024s 2048s 4096s 8192s 16384s 32768s 65536s 131072s ...
分类:
其他好文 时间:
2020-07-22 15:54:34
阅读次数:
43
启动RocketMQ 启动nameserver 修改broker配置参数,新增 messageDelayLevel=1s 2s 4s 8s 16s 32s 64s 128s 256s 512s 1024s 2048s 4096s 8192s 16384s 32768s 65536s 131072s ...
分类:
其他好文 时间:
2020-07-22 15:51:28
阅读次数:
83
<div id="cnblogs_post_body" class="blogpost-body "> <p><strong>Broker Configs</strong></p><p> </p><p> </p><table style="width: 800px; ...
分类:
其他好文 时间:
2020-07-20 17:18:44
阅读次数:
72
关于MQ的定义MessageQueue(MQ)消息队列中间件,通常我们在网上看到的对其定义是将消息的发送和接受分离来实现应用程序的异步和解耦,给人的直觉是MQ是异步的,用来解耦的。但这个只是MQ的效果,而不是目的。MQ真正的目的是为了通讯,屏蔽底层复杂的通讯协议,定义了一套应用层上更加简单的通讯协议。一套分布式系统中两个模块之间通讯要么是HTTP,要么是TCP,但这两种协议其实都是原始的协议。前者
分类:
其他好文 时间:
2020-07-19 11:25:55
阅读次数:
72