码迷,mamicode.com
首页 > Web开发 > 详细

使用 wget 下载需要 cookie 认证的网站

时间:2015-05-04 17:37:40      阅读:582      评论:0      收藏:0      [点我收藏+]

标签:

1、使用火狐,安装 Export Cookies 插件

2
、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹

3
、把 cookies.txt 文件名改成 cookie.txt

4
、打开终端进入自己的文件夹,输入命令:

wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt -keep-session-cookies --save-cookies=cookie.txt http://192.168.1.250/space-1461-do-album-id-109.html

?

?

wget?-r -p -np -k?http://xxx.com/xxx

-r,? --recursive
(递归)????????? specify recursive download.(指定递归下载)
-k,? --convert-links
(转换链接)????? make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p,? --page-requisites
(页面必需元素)??? get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, --no-parent
(不追溯至父级)????????? don‘t ascend to the parent directory.

另外断点续传用-nc参数 日志 -o参数

-c 断点续传
-r
递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd
递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np
递归下载时不搜索上层目录,如wget -c -r?www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k
将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L
递归时不进入其它主机,如wget -c -r?www.xxx.org/?
如果网站内有一个这样的链接:?
www.yyy.org
,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p
下载网页所需的所有文件,如图片等
-A
指定要下载的文件样式列表,多个样式用逗号分隔
-i
后面跟一个文件,文件内指明要下载的URL

使用 wget 下载需要 cookie 认证的网站

标签:

原文地址:http://www.cnblogs.com/baizx/p/4476298.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!