介绍 以前我们写爬虫，要导入和操作不同的模块，比如requests模块、gevent库、csv模块等。而在Scrapy里，你不需要这么做，因为很多爬虫需要涉及的功能，比如麻烦的异步，在Scrapy框架都自动实现了。 我们之前编写爬虫的方式，相当于在一个个地在拼零件，拼成一辆能跑的车。而Scrapy框 ...
分类：
其他好文 时间：
2020-01-31 00:59:54
阅读次数：
91
为提高工作效率，让多个爬虫一起工作 需要使用的库是：gevent 方式一 1.使用队列的形式： from gevent import monkey # 从gevent库里导入monkey模块。 monkey.patch_all() # monkey.patch_all()能把程序变成协作式运行，就是 ...
分类：
其他好文 时间：
2020-01-26 23:51:48
阅读次数：
174
一、gevent实现某函数异步并发 工作应用：如爬虫，下载是一个函数f1，解析是一个函数f2，都通过spawn住，然后通过 从而实现协程并发！ ...
分类：
编程语言 时间：
2020-01-26 17:38:57
阅读次数：
108
摘自：https://blog.csdn.net/aineko520/article/details/89223047今天继续进行日常python的练习。 greenlet、gevent两个安装了python之后是不自带的，需要自行下载安装，下面是WIN的安装方法。 1、首先下载greenlet、g ...
#!/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2020/1/23 1:50 # @Author : liuyan # @File : test5_tcp_server_5协程gevent版本.py # @Software: PyChar ...
分类：
其他好文 时间：
2020-01-23 09:52:22
阅读次数：
123
Serilog 使用简单的C API来配置日志记录。当外部配置需要时，可以使用Serilog.Settings.AppSettings包（.NET 框架）或Serilog.Settings.配置包 （.NET Core） 谨慎混合。 创建记录器 使用 对象创建记录器： 上面的示例将创建一个记录器，该 ...
分类：
其他好文 时间：
2020-01-16 18:42:53
阅读次数：
466
打补丁得时候需要在方法中实现,如果直接在外部调用猴子补丁,在odoo服务启动时,就会出现锁异常,会出现死锁, 错误的示范: 正确的示范: ...
分类：
其他好文 时间：
2020-01-11 10:11:03
阅读次数：
119
http://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libev-4.15-3.el7.x86_64.rpmwget http://repo.percona.com/tools/yum/release/7/RPMS/x ...
分类：
其他好文 时间：
2020-01-11 09:50:24
阅读次数：
73
概述?Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。特点1、协议简单；2、基于libevent的
分类：
数据库 时间：
2020-01-08 10:46:26
阅读次数：
149
先用ldconfig，无果，可以按照安装说明设置相关路径，或者在 usr/lib/中建立连接，我用的是这种方法。 ...
分类：
其他好文 时间：
2020-01-07 00:39:31
阅读次数：
97
