13.scrapy框架的日志等级和请求传参 今日概要 日志等级 请求传参 如何提高scrapy的爬取效率 今日详情 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ...
分类：
其他好文 时间：
2019-01-15 17:07:46
阅读次数：
190
一、 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作 ...
分类：
其他好文 时间：
2019-01-11 14:44:49
阅读次数：
172
1、新建一个新的爬虫项目指令 scrapy startproject xxx 2、在项目/spider目录下创建一个名为XXX的爬虫，并指定爬取域的范围 scrapy genspider XXX "www.XXX.com" 3、执行运行命令 scrapy crawl itcast 4、保存execl ...
分类：
其他好文 时间：
2019-01-10 10:43:16
阅读次数：
162
我们在使用scrapy框架的时候，会经常疑惑，数据流是怎么样在各个组件中间传递的。最近经常用scrapy+selenium爬取淘宝，又因为今天周五心情好，本宝宝决定梳理一下这方面知识。 scrapy中各个组件相互通信的方式是通过request对象和response对象来完成的。也就是说spider和 ...
分类：
其他好文 时间：
2019-01-04 17:21:56
阅读次数：
406
一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 - 设置日志信息指定输 ...
分类：
其他好文 时间：
2018-12-19 11:09:39
阅读次数：
204
持久化存储操作： a.磁盘文件 a) 基于终端指令 i. 保证parse方法返回一个可迭代类型的对象（存储解析到的页面内容） ii. 使用终端指令完成数据存储到指定磁盘文件的操作 1. scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 如（test.csv） b)基于管道 i. item ...
分类：
其他好文 时间：
2018-12-13 19:13:11
阅读次数：
206
CrawlSpider 创建工程scrapy startproject crawlSpiderPro cd crawlSpiderPro 创建爬虫文件 scrapy genspider -t crawl chouti dig.chouti.com 基于scrapySpider爬虫文件的和基于spid ...
分类：
其他好文 时间：
2018-12-10 14:12:51
阅读次数：
171
Scrapy爬取百度页面 spiders-baiduspider.py start_urls = xxxxxxxxxxxxxxxxxxxx 起始地址 parse函数分析网页：网页已经被downloader下来了，重写spider的parse函数 scrapy crawl baidu 终端下运行(na ...
分类：
其他好文 时间：
2018-12-08 20:21:36
阅读次数：
193
方法1使用多IP代理：1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。2.在有外网IP的机器上，部署代理服务器。3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。方法2.有小部分网站的
分类：
其他好文 时间：
2018-12-04 19:06:54
阅读次数：
227
