标签：cat htm back 定向 mon 爬取图片 xxxx enc 出现
def demo():
headers = {‘Accept‘:‘xxxx‘,
‘Accept-Encoding‘:‘xxxx‘,
‘Accept-Language‘:‘xxxx‘,
‘Connection‘:‘xxxx‘,
‘Host‘:‘xxxx‘,
‘Upgrade-Insecure-Requests‘:‘x‘,
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘}
url = ‘https:xxxxx.com‘
html = requests.get(url, headers=headers, allow_redirects=False)
return html.headers[‘Location‘]
allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。
这是scrapy中解决问题方法1：
在yield里面加上dont_filter=True，解决了这个问题，dont_filter的意思是，如果已经爬取过得url，也就是没有出现问题的url，
自然而然出现问题的url将会再次被传递，这样也就解决了重定向问题。
yield scrapy.Request(url=listUrl[i],callback=self.get_content,meta={‘item‘:item},method=‘GET‘,dont_filter=True)
有时候爬取图片获取不到，返回302，我们可以在配置文件settings.py
里面修改重定向：如下：
值加这一行代码：
MEDIA_ALLOW_REDIRECTS =True
ITEM_PIPELINES = { ‘scrapy.pipelines.images.ImagesPipeline‘:1, ‘Moni.pipelines.MoniPipeline‘: 300, } MEDIA_ALLOW_REDIRECTS =True # 只有这一行代码，其他的是为了方便查找，加上这一行基本上就能解决了 IMAGES_STORE = ‘./images‘
标签：cat htm back 定向 mon 爬取图片 xxxx enc 出现
原文地址：https://www.cnblogs.com/s5vc/p/10437242.html
