码迷,mamicode.com
首页 > 其他好文 > 详细

Celery异步的分布式任务调度理解

时间:2019-01-20 22:07:18      阅读:219      评论:0      收藏:0      [点我收藏+]

标签:生成   tps   expires   没有   其他   template   安装环境   ant   obj   

什么是Celery呢?

Celery是一个用Python开发的异步的分布式任务调度模块。

Celery本身不包含消息服务,使用第三方消息服务,也就是Broker,来传递任务,目前支持的有Rebbimq,Redis,数据库以及其他的一些比如Amazon SQS,Monogdb和IronMQ 。

Celery支持同步和异步执行两种模式。同步模式为任务调用方等待任务执行完成,这种方式等同于RPC(Remote Procedure Call), 异步方式为任务在后台执行,调用方调用后就去做其他工作,之后再根据需要来查看任务结果。Celery自己没有实现消息队列,而是直接已存在的消息队列作为Broker角色。官方推荐的Broker为 RabbitMQ ,除此之外,Redis、Beanstalkd、MongoDB等也都支持,具体可参考 官方文档 

Celery整体架构可以理解为下图:

 技术分享图片

整体上包括三个角色:

  • Celery client: 这是任务生产者,它负责将任务发送到Broker中。
  • Broker: Broker负责将任务分发给相应的celery worker。
  • Celery worker: 这是任务的执行者,完成相应的业务逻辑,在具体实现上体现为Python函数。

 

下面说一下Celery实例:

使用Celery完成发送短信:

这里使用redis作为消息队列(任务队列)

  关于Redis和Rebbimq 消息队列的比较:https://www.cnblogs.com/lzc978/articles/10291597.html

整个celery服务器实时监听任务队列逻辑

技术分享图片

 

0. 安装环境

0.1 pip安装Celery框架

pip install celery

0.2 启动Celery

celery -A 应用的包路路径 worker -l info

1. 代码结构

技术分享图片

1.1 config.py配置文件

# celery配置文件
# 指定任务队列列的位置 使用redis做为broker任务队列
broker_url = "redis://192.168.103.210/7"

 

1.2 main.py celery分布式异步任务队列启动文件

# celery启动文件
from celery import Celery

# 创建celery实例例
celery_app = Celery(file)
# 加载celery配置
celery_app.config_from_object(celery_tasks.config)
# 自动注册celery任务
celery_app.autodiscover_tasks([celery_tasks.sms])

 

2. Celery异步任务的定义

2.1 sms.tasks.py  异步任务/将被放在redis的任务队列(broker)中等待触发执行

# 发送短信的异步任务
from .yuntongxun.sms import CCP
from . import constants
from celery_tasks.main import celery_app

# 装饰器?将send_sms_code装饰为异步任务,并设置别名
@celery_app.task(name=send_sms_code)
def send_sms_code(mobile, sms_code):
"""
发送短信异步任务
:param mobile: 手机号
:param sms_code: 短信验证码
:return: None
"""
CCP().send_template_sms(mobile, [sms_code, constants.SMS_CODE_REDIS_EXPIRES // 60], constants.SEND_SMS_TEMPLATE_ID)

 

3. 开启Celery

celery -A celery_tasks.main worker -l info

 

4. 执行Celery异步任务(触发worker)

4.1 views.py  视图逻辑,即触发执行worker的业务逻辑

# 生成和发送短信验证码
sms_code = %06d % random.randint(0,999999)
# CCP().send_template_sms(mobile,[sms_code, constants.SMS_CODE_REDIS_EXPIRES // 60], 1)
# celery异步发送短信
send_sms_code.delay(mobile,sms_code)

 

 

 

 至此,一个简单的异步分布式Celery(异步任务)服务器搭建完成

 

Celery异步的分布式任务调度理解

标签:生成   tps   expires   没有   其他   template   安装环境   ant   obj   

原文地址:https://www.cnblogs.com/lzc978/p/10296273.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!