第一节：技术选型，爬虫能做什么技术选型scrapy vs requests + beautifulsoup1. requests + beautifulsoup都是库，scrapy是框架2.scrapy框架中可以加入requests + beautifulsoup3.scrapy基于twisted， ...
分类：
其他好文 时间：
2018-10-16 01:42:53
阅读次数：
146
Failed building wheel for Twisted 搞定！ ...
分类：
系统相关 时间：
2018-10-14 19:19:05
阅读次数：
211
安装 linux 和 mac 直接 pip install scrapy 就行 windows 安装步骤 a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执 ...
分类：
其他好文 时间：
2018-10-11 22:37:34
阅读次数：
127
安装 linux 和 mac 直接 pip install scrapy 就行 windows 安装步骤 a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执 ...
分类：
其他好文 时间：
2018-10-11 22:36:53
阅读次数：
147
环境：Python3.6scrapy1.5.11.到pypi的网站上搜索下载Twisted18.4版本2.复制下载的文件到项目所在目录。3.把文件名为Twisted-18.4.0-cp27-cp27m-win_amd64.whl。修改为Twisted-18.4.0-cp36-cp36m-win32.whl4.在所在项目使用pipinstallTwisted-18.4.0-cp36-cp36m-wi
问题： 解决办法(步骤)： 1.尝试将twisted包手动下载安装（下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ twisted） 2.当twisted安装成功后，在安装scrapy,直接使用命令 pip install scrapy 即可。 ...
分类：
编程语言 时间：
2018-10-08 11:27:51
阅读次数：
290
1.scrapy框架介绍 Scrapy是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架 Scrapy 特色是使用了 Twisted异步网络框架来处理网络通讯，加快了下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求 1.1 scrapy框架 ...
分类：
其他好文 时间：
2018-10-01 23:10:13
阅读次数：
198
scrapy 安装scrapy windows可能安装失败，需要先安装c++库或twisted，pip install twisted 创建项目 该命令将会创建包含下列内容的 tutorial 目录: 编写第一个爬虫 为了创建一个Spider，您必须继承 scrapy.Spider 类，定义以下三个 ...
分类：
其他好文 时间：
2018-09-29 20:28:17
阅读次数：
163
1、简述 OSI 七层协议。 2、什么是C/S和B/S架构？ 3、简述 三次握手、四次挥手的流程。 4、什么是arp协议？ 5、TCP和UDP的区别？ 6、什么是局域网和广域网？ 7、为何基于tcp协议的通信比基于udp协议的通信更可靠？ 8、什么是socket？简述基于tcp协议的套接字通信流程。 ...
分类：
编程语言 时间：
2018-09-27 22:54:38
阅读次数：
475
win 下安装 sclapy 先安装 pip install wheel py 库下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 在这个网址中下载 Scrapy 和 twisted ， 称下载 twisted，在其所在文件夹十打开 c ...
分类：
其他好文 时间：
2018-09-27 14:17:26
阅读次数：
111
