介绍 以前我们写爬虫，要导入和操作不同的模块，比如requests模块、gevent库、csv模块等。而在Scrapy里，你不需要这么做，因为很多爬虫需要涉及的功能，比如麻烦的异步，在Scrapy框架都自动实现了。 我们之前编写爬虫的方式，相当于在一个个地在拼零件，拼成一辆能跑的车。而Scrapy框 ...
分类：
其他好文 时间：
2020-01-31 00:59:54
阅读次数：
91
为提高工作效率，让多个爬虫一起工作 需要使用的库是：gevent 方式一 1.使用队列的形式： from gevent import monkey # 从gevent库里导入monkey模块。 monkey.patch_all() # monkey.patch_all()能把程序变成协作式运行，就是 ...
分类：
其他好文 时间：
2020-01-26 23:51:48
阅读次数：
174
一、gevent实现某函数异步并发 工作应用：如爬虫，下载是一个函数f1，解析是一个函数f2，都通过spawn住，然后通过 从而实现协程并发！ ...
分类：
编程语言 时间：
2020-01-26 17:38:57
阅读次数：
108
摘自：https://blog.csdn.net/aineko520/article/details/89223047今天继续进行日常python的练习。 greenlet、gevent两个安装了python之后是不自带的，需要自行下载安装，下面是WIN的安装方法。 1、首先下载greenlet、g ...
#!/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2020/1/23 1:50 # @Author : liuyan # @File : test5_tcp_server_5协程gevent版本.py # @Software: PyChar ...
分类：
其他好文 时间：
2020-01-23 09:52:22
阅读次数：
123
Serilog 使用简单的C API来配置日志记录。当外部配置需要时，可以使用Serilog.Settings.AppSettings包（.NET 框架）或Serilog.Settings.配置包 （.NET Core） 谨慎混合。 创建记录器 使用 对象创建记录器： 上面的示例将创建一个记录器，该 ...
分类：
其他好文 时间：
2020-01-16 18:42:53
阅读次数：
466
打补丁得时候需要在方法中实现,如果直接在外部调用猴子补丁,在odoo服务启动时,就会出现锁异常,会出现死锁, 错误的示范: 正确的示范: ...
分类：
其他好文 时间：
2020-01-11 10:11:03
阅读次数：
119
```python import requests import gevent from gevent import monkey monkey.patch_all() headers = { 'Accept': 'text/html,application/xhtml+xml,applicatio... ...
分类：
其他好文 时间：
2020-01-01 23:38:34
阅读次数：
99
一、Docker Compose 安装 [root@localhost ~]# yum -y install epel-release [root@localhost ~]# yum -y install python-pip [root@localhost ~]# pip --version pi ...
分类：
其他好文 时间：
2020-01-01 20:30:30
阅读次数：
158
有一个本地服务器，网速很慢，下载老是出错，出现 经过google，发现用下面的内容就可以完美解决 ...
分类：
其他好文 时间：
2019-12-31 01:01:01
阅读次数：
629
