最近发现一个新的python万用库 地址 https://www.lfd.uci.edu/~gohlke/pythonlibs/ ctrl + f 搜索你要安装内容 例如 twisted 分别对应着 版本号 python版本 windows版本 选择相应的版本和操作系统 下载 .whl cmd命令行 ...
分类：
编程语言 时间：
2018-12-03 21:05:31
阅读次数：
127
- scrapy框架 介绍：大而全的爬虫组件。 安装： - Win: 下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted pip3 install wheel pip install Twisted?18.4.0?cp36?cp36m?win_ ...
分类：
其他好文 时间：
2018-11-26 00:13:47
阅读次数：
185
一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 ...
分类：
其他好文 时间：
2018-11-24 14:20:06
阅读次数：
194
今天准备学习爬虫的scrapy模块，在这之前需要安装许多别的模块，Twisted就是其一 一开始想着直接用pycharm来安装就行了，没想到安装了一会就报错了，如下 后来就换到命令提示符来安装，在官网发现直接pip安装就行了 当我以为一切顺利的时候，又报错了，还是相同的错误。（WTF!!） 好吧，然 ...
分类：
编程语言 时间：
2018-11-18 14:58:24
阅读次数：
172
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted异步网络框架来处理网络通讯，可以加快我们的下载速度， ...
分类：
其他好文 时间：
2018-11-17 22:23:34
阅读次数：
232
协议处理类通常会子类化twisted.com.internet.protocol.protocol。大多数协议处理程序从这个类继承，或者从它的一个方便子类继承。协议类的实例按连接实例化，按需实例化，并在连接完成时消失。这意味着持久化配置不会保存在协议中。持久化配置保存在工厂类中，工厂类通常继承自twisted.com.internet.protocol.Factory。工厂的buildProtoc
分类：
编程语言 时间：
2018-11-12 19:46:32
阅读次数：
271
Twisted是用Python实现的基于事件驱动的网络引擎框架，是python中一个强大的异步IO库。理解twisted的一个前提是弄清楚twisted中几个核心的概念: reactor, Protocl, ProtocolFactory, Deffered 1 reactor twisted.in ...
分类：
其他好文 时间：
2018-11-10 15:06:29
阅读次数：
179
抽象类与接口类 接口类 继承有两种用途： 一：继承基类的方法，并且做出自己的改变或者扩展（代码重用） 二：声明某个子类兼容于某基类，定义一个接口类Interface，接口类中定义了一些接口名（就是函数名）且并未实现接口的功能，子类继承接口类，并且实现接口中的功能 class Alipay: ''' ...
分类：
其他好文 时间：
2018-11-09 22:52:51
阅读次数：
247
这是我近期学习的一些内容，可能不仅仅局限于scrapy爬虫框架，还会有很多知识的扩展。写的可能不是那么有条理，想到什么就写什么吧，毕竟也是自己以后深入学习的基础，有些知识说的不够明白欢迎留言，共同学习！ 一、框架详解 Scrapy是由Twisted写的一个受欢迎的python事件驱动网络框架，它使用 ...
分类：
其他好文 时间：
2018-11-08 15:02:13
阅读次数：
138
