码迷,mamicode.com
首页 > Web开发 > 详细

wget下载整个网站

时间:2015-06-12 10:15:53      阅读:962      评论:0      收藏:0      [点我收藏+]

标签:wget下载整个网站

wget -c -r -np -k -L -p http://www.xxxx.com/yyyy/zzzzz


wget的主要参数:

-b:让wget在后台运行,记录文件写在当前目录下”wget-log”文件中;


-t [nuber of times]:尝试次数,当wget无法与服务器建立连接时,尝试连接多少次。比如”-t120″表示尝试120次。当这一项为”0″的时候,指定尝试无穷多次直到连接成功为止,这个设置非常有用,当对方服务器突然关机或者网络突然中断的时候,可以在恢复正常后继续下载没有传完的文件;


-c:断点续传,这也是个非常有用的设置,特别当下载比较大的文件的时候,如果中途意外中断,那么连接恢复的时候会从上次没传完的地方接着传,而不是又从头开始,使用这一项需要远程服务器也支持断点续传,一般来讲,基于UNIX/Linux的Web/FTP服务器都支持断点续传;


-T [number of seconds]:超时时间,指定多长时间远程服务器没有响应就中断连接,开始下一次尝试。比如”-T120″表示如果120秒以后远程服务器没有发过来数据,就重新尝试连接。如果网络速度比较快,这个时间可以设置的短些,相反,可以设置的长一些,一般最多不超过900,通常也不少于60,一般设置在 120左右比较合适;


-w [number of seconds]:在两次尝试之间等待多少秒,比如”-w 100″表示两次尝试之间等待100秒;


-Y on/off:通过/不通过代理服务器进行连接;默认是on


-Q [byetes]:限制下载文件的总大小最多不能超过多少,比如”-Q2k”表示不能超过2K字节,”-Q3m”表示最多不能超过3M字节,如果数字后面什么都不加,就表示是以字节为单位,比如”-Q200″表示最多不能超过200字节;


-nd:不下载目录结构,把从服务器所有指定目录下载的文件都堆到当前目录里;


-x:与”-nd”设置刚好相反,创建完整的目录结构,例如”wget -nd http://www.baidu.com”将创建在当前目录下创建”www.baidu.com”子目录,然后按照服务器实际的目录结构一级一级建下去,直到所有的文件都传完为止;


-nH:不创建以目标主机域名为目录名的目录,将目标主机的目录结构直接下到当前目录下;

–http-user=username

–http-passwd=password:如果Web服务器需要指定用户名和口令,用这两项来设定;

–proxy-user=username

–proxy-passwd=password:如果代理服务器需要输入用户名和口令,使用这两个选项;


-r:在本机建立服务器端目录结构;


-l [depth]:下载远程服务器目录结构的深度,例如”-l 5″下载目录深度小于或者等于5以内的目录结构或者文件;


-m:做站点镜像时的选项,如果你想做一个站点的镜像,使用这个选项,它将自动设定其他合适的选项以便于站点镜像;


-np:只下载目标站点指定目录及其子目录的内容。这也是一个非常有用的选项,我们假设某个人的个人主页里面有一个指向这个站点其他人个人主页的连接,而我们只想下载这个人的个人主页,如果不设置这个选项,甚至–有可能把整个站点给抓下来,这显然是我们通常不希望的;


本文出自 “知识改变命运科技改变生活” 博客,请务必保留此出处http://leoshi.blog.51cto.com/152597/1661080

wget下载整个网站

标签:wget下载整个网站

原文地址:http://leoshi.blog.51cto.com/152597/1661080

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!