写了一个kafka传输消息，celery发布任务的脚本。 有四个线程，分别读取不同的kafka队列信息 问题是，只有第一个线程会启动，剩下的三个线程连start都运行不了。 而且这个问题不是一开始就发生的，最开始跑代码的时候很正常。连续运行了半个月都没问题。就是后来重启后就有问题了。 后来发现，在每 ...
分类：
编程语言 时间：
2017-10-20 13:35:59
阅读次数：
247
在上一个系列，我们学会使用rabbitmq。本来接着是把公司的celery分享出来，但是定睛一看，celery4.0已经不再支持Windows。公司也逐步放弃了服役多年的celery项目。恰好，公司找人进来新人也要给他们培训爬虫。接下来，我们就从零开始，学习爬虫，目标是能掌握到执行js，反爬虫这个水 ...
分类：
编程语言 时间：
2017-10-18 23:21:15
阅读次数：
425
此刻，我们已经进入第6章，是官方的最后一个环节，但是，并非本系列的最后一个环节。因为在实战中还有一些经验教训，并没体现出来。由于马上要给同事没培训celery了。我也来不及写太多。等后面，我们再慢慢补充。 RPC：是远程过程调用。百度写了一大堆。此刻，我们简单点说：比如，我们在本地的代码中调用一个函 ...
分类：
编程语言 时间：
2017-10-13 23:38:29
阅读次数：
265
本节内容 1. Celery介绍和基本使用 2. 项目中使用Celery 3. Celery定时任务 4. Celery与Django结合 5. Django中使用计划任务 需求场景 1. 对100台命令执行一条批量命令，命令执行需要很长时间，但是不想让主程序等着结果返回，而是给主程序返回一个任务I ...
分类：
其他好文 时间：
2017-10-12 21:40:41
阅读次数：
499
开始以为在flower中获取，原来flower也是从celery中获取的。 如果直接用celery命令，一直会提示拒绝连接。 网上说了，用django命令就可以的。 于是试了下，OK了。 这样，至少可用于邮件报警吧。 ...
分类：
其他好文 时间：
2017-09-27 17:36:15
阅读次数：
215
1.安装两个包：celery, django-celery pip install celery==3.1.25 pip install django-celery==3.1.17 2.配置 项目目录/项目名目录/settings.py 1.将celery添加到注册应用中 INSTALLED_APP ...
分类：
其他好文 时间：
2017-09-23 12:30:32
阅读次数：
390
详情参见： 分布式队列神器 Celery 个人学习总结后续更新…… ...
分类：
其他好文 时间：
2017-09-17 23:34:02
阅读次数：
181
背景：一个小应用，用celery下发任务，任务内容为kafka生产一些数据。 问题：使用confluent_kafka模块时，单独启用kafka可以正常生产消息，但是套上celery后，kafka就无法将新消息生产到topic队列中了。 解决：换了个pykafka模块，结果问题就没有了。 我很疑惑啊 ...
分类：
其他好文 时间：
2017-09-14 14:55:36
阅读次数：
265
Celery 4.0支持django1.8及以上的版本，低于1.8的项目使用Celery 3.1。 一个django项目的组织如下： 首先建立proj/proj/celery.py文件： 然后要保证django项目启动时上述的app被载入，修改proj/proj/__init__.py文件： 现在就 ...
分类：
其他好文 时间：
2017-09-14 10:19:53
阅读次数：
208
django项目开发中遇到过一些问题，发送请求后服务器要进行一系列耗时非常长的操作，用户要等待很久的时间。可不可以立刻对用户返回响应，然后在后台运行那些操作呢？ crontab定时任务很难达到这样的要求 ，异步任务是很好的解决方法，有一个使用python写的非常好用的异步任务工具Celery。 br ...
分类：
其他好文 时间：
2017-09-10 22:53:23
阅读次数：
213
