标签：开始 min conf rabbitmq time print show 缓存 返回
一.什么是Celery?
中文名翻译为芹菜,是flask中处理异步定时周期任务的第三方组件
二.基本结构
1.需要跑的任务代码app
2.用管道broker与用于存储任务(就是个缓存) 工具一般用redis 或者用rabbitMQ(兔子)
3.执行任务的人worker
简单实例 首先建立三个文件分别写入一下代码
from celery import Celery import time #创建一个Celery实例,这就是我们用户的应用app my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379") # 为应用创建任务,func1 @my_task.task def func1(x, y): time.sleep(15) return x + y s1.py
from s1 import func1 # 将任务交给Celery的Worker执行 res = func1.delay(2,4) #返回任务ID print(res.id) s2.py
from celery.result import AsyncResult from s1 import my_task # 异步获取任务返回值 async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task) # 判断异步任务是否执行成功 if async_task.successful(): #获取异步任务的返回值 result = async_task.get() print(result) else: print("任务还未执行完成") s3.py
s1就是前面提到的worker
启动:Windows:这里需要注意的是celery 4.0 已经不再对Windows操作系统提供支持了,也就是在windows环境下出现问题除非自己解决,否贼官方是不会给你解决的
celery worker -A s1 -l INFO -P eventlet
ps: eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet
执行过程:
启动完成,其实在s1.py当中,worker已经知道了自己的broker 和 backend 在哪里了
接下来就让异步任务开始执行吧,对了 s2.py 中就是使用 delay 的方式来开始执行的异步任务
执行 s2.py 得到了一个字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 这个字符串儿就是异步任务的ID
在Celery worker 的控制台中可以看到这个样子
等待15秒钟之后就可以的到这样一个字符串
然后通过s3.py修改异步任务的ID来获取任务返回的结果
这样就简单完成了一个Celery异步任务了
在实际项目中我们应用Celery是有规则的
要满足这样的条件才可以哦,目录Celery_task这个名字可以随意起,但是一定要注意在这个目录下一定要有一个celery.py这个文件
from Celery_task.task_one import one from Celery_task.task_two import two # one.delay(10,10) # two.delay(20,20) # 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行 # 现在我们使用apply_async定时执行 #首先我们要先给task一个执行任务的时间 import datetime,time # 获取当前时间 此时间为东八区时间 ctime = time.time() # 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法 utc_time = datetime.datetime.utcfromtimestamp(ctime) # 为当前时间增加 10 秒 add_time = datetime.timedelta(seconds=10) action_time = utc_time + add_time # action_time 就是当前时间未来10秒之后的时间 #现在我们使用apply_async定时执行 res = one.apply_async(args=(10,10),eta=action_time) print(res.id) #这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了 my_celery
from celery import Celery from celery.schedules import crontab celery_task = Celery("task", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379", include=["Celery_task.task_one","Celery_task.task_two"]) #我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10) celery_task.conf.beat_schedule={ "each10s_task":{ "task":"Celery_task.task_one.one", "schedule":10, # 每10秒钟执行一次 "args":(10,10) }, "each1m_task": { "task": "Celery_task.task_one.one", "schedule": crontab(minute=1), # 每一分钟执行一次 "args": (10, 10) }, "each24hours_task": { "task": "Celery_task.task_one.one", "schedule": crontab(hour=24), # 每24小时执行一次 "args": (10, 10) } } #以上配置完成之后,还有一点非常重要 # 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方 # celery beat -A Celery_task # celery worker -A Celery_task -l INFO -P eventlet celery.py
执行过程:
创建Worker的方式并没有发行变化,但是这里要注意的是,每间隔一定时间后需要生产出来任务给Worker去执行,这里需要一个生产者beat
celery beat -A Celery_task #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动
celery worker -A Celery_task -l INFO -P eventlet
创建worker之后,每10秒就会由beat创建一个任务给Worker去执行
标签：开始 min conf rabbitmq time print show 缓存 返回
原文地址：https://www.cnblogs.com/RootEvils/p/10394520.html
