码迷,mamicode.com
首页 > 编程语言 > 详细

python 下载文件 & 防盗链

时间:2014-10-07 20:25:53      阅读:195      评论:0      收藏:0      [点我收藏+]

标签:blog   http   ar   文件   sp   div   问题   c   on   

偶然下载一种类型的资源,发现好多翻页,右键另存什么的,不胜其烦。

决定用python写几句代码搞定。核心代码如下:

from urllib import urlretrieve

from urllib import urlretrieve
urlretrieve(url,save_to_path,show_download_progress)
    

至于url,简单的用爬虫的思路得到的。非本文的重点,不再啰嗦。

问题来了,不知道为什么,下载的所有文件都是42k!

百思不得其解,应该是某种限制,脑袋不灵光,想了半天才想到,应该是防盗链。

查了下,于是用wireshark模拟了一下,发现header参数太多,弄不好每个都要设(取决于人家网站的逻辑设计),于是不管三七二十一,先给射了个Reffer。

不幸的成功了。好吧,不用再研究了,收工,特记录之。

以上问题的解决方案:

import urllib2
req = urllib2.Request(‘http://www.example.com/‘)
req.add_header(‘Referer‘, ‘http://www.python.org/‘)
resp = urllib2.urlopen(req)
content = resp.read()

接下来,只需要吧content写到文件里面去就好了,此处略。

 

python 下载文件 & 防盗链

标签:blog   http   ar   文件   sp   div   问题   c   on   

原文地址:http://www.cnblogs.com/Tommy-Yu/p/4009586.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!