码迷,mamicode.com
首页 > Web开发 > 详细

scrapy 爬网站 显示 Filtered offsite request to 错误

时间:2017-08-26 16:04:33      阅读:220      评论:0      收藏:0      [点我收藏+]

标签:sdn   功能   答案   eve   color   显示   ack   parse   targe   

传送门:http://blog.csdn.net/feifly329/article/details/49702063

爬取网站图片时,无法抓取.

在 setting.py 文件中 设置 日志 记录等级

LOG_LEVEL= ‘DEBUG‘

LOG_FILE =‘log.txt‘

查看日志 发现报

2017-08-26 15:00:45 [scrapy] DEBUG: Filtered offsite request to ‘movie.mtime.com‘: <GET http://movie.mtime.com/12231/posters_and_images/>

这条日志记录有点奇怪 果断上网百度 ,找到答案

官方对这个的解释,是你要request的地址和allow_domain里面的冲突(我的allow_domains=["http://www.mtime.com"]),从而被过滤掉。可以停用过滤功能。

yield Request(url, callback=self.parse_item, dont_filter=True)

scrapy 爬网站 显示 Filtered offsite request to 错误

标签:sdn   功能   答案   eve   color   显示   ack   parse   targe   

原文地址:http://www.cnblogs.com/v-BigdoG-v/p/7435436.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!