1.scrapy的安装 -前提，最好用virtualenv 创建的虚拟环境安装 -windows -官方推荐用anaconda -自定已安装 -1.https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的twisted ，注意python的版本和32/64 ...
分类：
其他好文 时间：
2019-01-21 12:08:38
阅读次数：
153
windows下安装scrapy 依次执行下列操作： pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时，安装 ...
分类：
编程语言 时间：
2019-01-20 18:55:20
阅读次数：
177
Linux：pip3 install scrapy window: a:pip3 install wheel b:下载twisted高性能异步模块 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c:进入下载的目录 执行pip3 install ...
分类：
其他好文 时间：
2019-01-14 23:06:12
阅读次数：
190
Scrapy是什么？ scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted['tw?st?d](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步 ...
分类：
其他好文 时间：
2019-01-11 12:11:04
阅读次数：
377
document.charset 进入网站的开发者模式，在console终端下，输入该命令,查询网站的编码格式 HTTP服务默认端口是80，HTTPs默认端口是443 400 网页不存在或请求参数语法有误 401 账户无访问权限 403 网站没有绑定默认首页或者绑定默认首页错误 404 访问的资源不 ...
分类：
其他好文 时间：
2019-01-08 22:27:27
阅读次数：
163
一、Splash 的使用 Splash 是一个JavaScript 渲染服务，带有 HTTP API的轻量级浏览器，同时对接了 Python 中的 Twisted 和 QT 库。利用它，同样可以实现动态渲染页面的抓取。 通过 Splash 提供的 Web 页面来测试其渲染过程。例：在本机 8050 ...
分类：
其他好文 时间：
2019-01-04 12:46:55
阅读次数：
216
window 64位安装scrapy框架 先安装scrapy的依赖，这样遇到错误的可能性就减少了很多 安装lxml pip install lxml 安装 wheel pip install wheel 安装 Twisted "网址去下载对应版本" Twisted?18.9.0?cp36?cp36m ...
分类：
其他好文 时间：
2019-01-03 13:59:58
阅读次数：
185
Scrapy Scrapy 是一个位了爬取网站数据，提取数据结构性数据而编写的应用框架，少量代码，就能快速爬取，使用了Twisted 异步网络框架，加快我们下载速度! 工作流程 制作 Scrapy 爬虫 一共需要4步： 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项 ...
分类：
其他好文 时间：
2018-12-24 22:04:44
阅读次数：
198
本篇博客将从Twisted的下载任务基本流程开始介绍，然后再一步步过渡到Scrapy框架的基本运行流程，其中还会需要我们自定义一个Low版的Scrapy框架。但内容不会涉及太多具体细节，而且需要注意的是示例代码的运行过程不会Scrapy一模一样，但不影响你对整体的把握。希望可以帮助那些刚入门爬虫或者 ...
分类：
其他好文 时间：
2018-12-24 21:01:17
阅读次数：
164
一.Scrapy框架是基于Twisted的异步框架，纯Python实现的爬虫框架，耦合程度低，可拓展性极强。 1.Engine引擎，处理整个系统的数据流、触发事物、框架的核心 2.item项目，定义爬虫爬取结果的数据结构，爬取的数据会被赋值成该item对象 3.Schedule调度器，接受engin ...
分类：
其他好文 时间：
2018-12-21 21:18:50
阅读次数：
362
