Celery 概念 简单的灵活可靠的处理大量消息的分布式系统 专注于实时处理的异步任务队列, 同时也支持任务调度 结构图 使用场景 异步任务 将耗时的操作任务提交给 Celery 去异步执行 - 比如发送短信 / 邮件, 消息推送, 音视频处理等 定时任务 类似于 crontab, 比如每日的数据统 ...
分类：
编程语言 时间：
2019-12-09 15:31:17
阅读次数：
95
原来的scrapy中的Scheduler维护的是当前机器中的任务队列（存放着Request对象以及回调函数等信息） + 当前的去重队列（存放访问过的url地址） 实现分布式的关键就是需要找一台专门的主机在上面运行一个共享的队列，比如redis。然后重写scrapy的Scheduler，让新的Sche ...
分类：
其他好文 时间：
2019-12-08 15:39:19
阅读次数：
168
<! TOC "回顾NioEventLoop的run方法流程" "IO事件与非IO任务" "处理IO事件" "处理非IO任务" "聚合定时任务到普通任务队列" "从普通队列中获取任务" "计算任务执行的超时时间" "安全执行" "计算是否超时" "总结" <! /TOC 回顾NioEventLoop ...
分类：
Web程序 时间：
2019-12-06 00:21:19
阅读次数：
130
除了redis,还可以使用另外一个神器 Celery。Celery是一个异步任务的调度工具。 Celery是Distributed Task Queue，分布式任务队列，分布式决定了可以有多个worker的存在，列表表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 在 ...
分类：
其他好文 时间：
2019-12-02 19:27:26
阅读次数：
98
celery学习：http://docs.jinkan.org/docs/celery/ 什么是celery？ Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。它专注于实时处理的任务队列，同时也支持任务调度。 什么地方可以用到celery？（基础 ...
分类：
编程语言 时间：
2019-12-02 16:38:03
阅读次数：
96
Netty工作原理图 netty抽象出了两组线程池，BossGroup专门负责客户端 的连接，WorkerGroup专门负责网络读写。 BossGroup和WorkerGroup 类型都是NioEventLoopGroup NioEventLoopGroup相当于一个事件循环组，这个组中含有多个事件 ...
分类：
Web程序 时间：
2019-12-02 00:43:59
阅读次数：
92
一、介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2019-12-01 20:43:58
阅读次数：
63
线程池： 一个线程池主要由以下的四个部分构成。 1 线程池管理器，负责创建线程和销毁线程，向工作队列中添加任务等。 2 工作线程，线程池当中负责执行任务的线程，当任务队列为空的情况下，则该线程处于等待的状态。 一般使用信号量来跟踪当先任务队列当中任务的数量，线程处于sem_wait()的状态，等待任 ...
分类：
编程语言 时间：
2019-11-30 11:56:52
阅读次数：
81
EventLoop是什么？什么是宏任务？微任务又是什么？任务队列…… ...
分类：
Web程序 时间：
2019-11-28 23:13:08
阅读次数：
204
一、背景 最近因项目需要，学习任务队列Celery的用法; 二、测试使用环境： 1.Windows7 x64 2.Python == 3.7.5 3.celery == 4.3.0 4.redis =3.3.11 5.eventlet==0.25.1 ==> pip install eventlet ...
