Celery 1.什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（ta ...
分类：
其他好文 时间：
2020-11-10 11:18:05
阅读次数：
9
一、概念 微服务（Microservices）是一种架构风格，一个大型复杂软件应用由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。在所有情况下，每个任务代表着一个小的业务能力。 旨在：通过将功能分解到各个离散的服务中 ...
分类：
编程语言 时间：
2020-11-04 19:04:36
阅读次数：
28
一、前言 之前的物联网篇，有介绍过用户手机APP或在H5端，可以作为mqtt的客户端，通过tcp:1883或者Websocket:8083，连接到EMQ Broker上，订阅设备的主题，从而收到设备上报的数据。但是，在处理工业物联网的时候，会出现，物联网平台会对接客户自己的应用。设备上报与下发都是通 ...
分类：
Web程序 时间：
2020-10-30 13:11:16
阅读次数：
28
在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念，我们先回顾下，一个主题可以有多个分区，而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费，可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的，例如消费者会宕机，还有新的消费者会加入，而为了应对这些变化，让分区所属权的分配合理，这都需要对分区所属权进行调整，也就是所谓的“再均衡”。本文将对再
分类：
其他好文 时间：
2020-10-27 11:55:04
阅读次数：
42
记一次celery使用过程中丢失上下文问题问题场景项目中需要在celery的异步任务中连接其他服务的celery任务队列，并向所连接的celery中发送task任务。这样使用的结果就是：需要生成两个不同的celery实例，在第一个celery实例中需要使用flask中的上下文，并进行上下文的生成，在调用完另一个celery实例后，在worker运行了标记的task最大任务销毁重启之后；会发生在需要
分类：
其他好文 时间：
2020-10-27 11:30:23
阅读次数：
19
RocketMQ主从搭建 部署环境 作为测试环境，我们使用两台虚拟机来部署双主双从环境，具体结构如下： 整个集群由两个 name server 实例和四个 broker 实例组成 name server: 两台服务器分别启动两个name server broker A 主从: 服务器1部署 brok ...
分类：
其他好文 时间：
2020-09-24 21:11:19
阅读次数：
42
RocketMQ基本原理 Topic 基本原理 在Rocketmq集群中新建 Topic1 在管理界面中新建主题Topic1，为了方便观察测试效果，这里把写队列和读队列的数量都设置成3。 这样，在 broker-a 和 broker-b 上都创建了 Topic1 主题，并各创建了3写3读队列，共6写 ...
分类：
其他好文 时间：
2020-09-24 21:09:22
阅读次数：
42
一、消息的事务性 1、生产者 01、生产者不开启事务 不开启事务的生产代码: public class JmsQueueProducer { public static final String BROKER_URL = "tcp://192.168.229.129:61616"; public s ...
分类：
其他好文 时间：
2020-09-24 00:03:28
阅读次数：
36
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
1.概念 CASB：云访问安全代理 Cloud Access Security Broker 最早是为解决影子资产问题，尤其是随着SaaS服务的快速发展。CASB核心价值是解决深度可视化、 数据安全、威胁防护、合规性这四类问题 CSPM：云安全配置管理 Cloud Security Posture ...
分类：
其他好文 时间：
2020-09-18 00:51:10
阅读次数：
30
