标签:blog http ar 文件 sp div 问题 c on
偶然下载一种类型的资源,发现好多翻页,右键另存什么的,不胜其烦。
决定用python写几句代码搞定。核心代码如下:
from urllib import urlretrieve from urllib import urlretrieve urlretrieve(url,save_to_path,show_download_progress)
至于url,简单的用爬虫的思路得到的。非本文的重点,不再啰嗦。
问题来了,不知道为什么,下载的所有文件都是42k!
百思不得其解,应该是某种限制,脑袋不灵光,想了半天才想到,应该是防盗链。
查了下,于是用wireshark模拟了一下,发现header参数太多,弄不好每个都要设(取决于人家网站的逻辑设计),于是不管三七二十一,先给射了个Reffer。
不幸的成功了。好吧,不用再研究了,收工,特记录之。
以上问题的解决方案:
import urllib2 req = urllib2.Request(‘http://www.example.com/‘) req.add_header(‘Referer‘, ‘http://www.python.org/‘) resp = urllib2.urlopen(req) content = resp.read()
接下来,只需要吧content写到文件里面去就好了,此处略。
标签:blog http ar 文件 sp div 问题 c on
原文地址:http://www.cnblogs.com/Tommy-Yu/p/4009586.html