码迷,mamicode.com
首页 > 其他好文 > 详细

Scrapy爬虫错误日志汇总

时间:2019-02-26 15:13:40      阅读:242      评论:0      收藏:0      [点我收藏+]

标签:错误   efi   网页   图片   宏定义   文章   比较   解析   提取   

1、数组越界问题(list index out of range)

技术图片

原因:第1种可能情况:list[index]index超出范围,也就是常说的数组越界。

   第2种可能情况:list是一个空的, 没有一个元素,进行list[0]就会出现该错误,这在爬虫问题中很常见,比如有个列表爬下来为空,统一处理就会报错。

解决办法:从你的网页内容解析提取的代码块中找找看啦(人家比较习惯xpath + 正则),加油 ~

2、http状态代码没有被处理或允许(http status code is not handled or not allowed)

技术图片

原因:就是你的http状态码没有被识别,需要在settings.py中添加这个状态码信息,相当于C语言中的#define预处理宏定义命令吧(我这么理解)

解决办法:在你的setting.py中,添加这么一句短小精悍的话就OK了,紧接着就等着高潮吧您呐:HTTPERROR_ALLOWED_CODES = [403]

 

 

 

此篇文章持续更新,未完待续....

欢迎大家留下自己的问题,互相讨论,互相学习,互相总结,,,,

 

Scrapy爬虫错误日志汇总

标签:错误   efi   网页   图片   宏定义   文章   比较   解析   提取   

原文地址:https://www.cnblogs.com/beiyi888/p/10437232.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!