码迷,mamicode.com
首页 > 其他好文 > 详细

Scrapy框架: 异常错误处理

时间:2019-11-22 01:18:14      阅读:205      评论:0      收藏:0      [点我收藏+]

标签:inter   无响应   ESS   服务器错误   框架   fail   www   requests   filter   

import scrapy

from scrapy.spidermiddlewares.httperror import HttpError
from twisted.internet.error import DNSLookupError
from twisted.internet.error import TimeoutError, TCPTimedOutError

class ErrbackSpider(scrapy.Spider):
    name = "errback_example"
    start_urls = [
        "http://www.httpbin.org/",                  # 正常HTTP 200返回
        "http://www.httpbin.org/status/404",        # 404 Not found error
        "http://www.httpbin.org/status/500",        # 500服务器错误
        "http://www.httpbin.org:12345/",            # 超时无响应错误
        "http://www.httphttpbinbin.org/",           # DNS 错误
    ]

    def start_requests(self):
        for u in self.start_urls:
            yield scrapy.Request(u, callback=self.parse_httpbin,
                                    errback=self.errback_httpbin,
                                    dont_filter=True)

    def parse_httpbin(self, response):
        self.logger.info('Got successful response from {}'.format(response.url))
        # 其他处理.

    def errback_httpbin(self, failure):
        # 日志记录所有的异常信息
        self.logger.error(repr(failure))

        # 假设我们需要对指定的异常类型做处理,
        # 我们需要判断异常的类型

        if failure.check(HttpError):
            # HttpError由HttpErrorMiddleware中间件抛出
            # 可以接收到非200 状态码的Response
            response = failure.value.response
            self.logger.error('HttpError on %s', response.url)

        elif failure.check(DNSLookupError):
            # 此异常由请求Request抛出
            request = failure.request
            self.logger.error('DNSLookupError on %s', request.url)

        elif failure.check(TimeoutError, TCPTimedOutError):
            request = failure.request
            self.logger.error('TimeoutError on %s', request.url)

Scrapy框架: 异常错误处理

标签:inter   无响应   ESS   服务器错误   框架   fail   www   requests   filter   

原文地址:https://www.cnblogs.com/hankleo/p/11909353.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!