标签：
# wget -r -p -np -k http://xxx.edu.cnWEB采集也快3年了，多多少少碰到不少问题，总结总结牢骚一下～有用人得到那更好
今天上经典工具wget的使用吧(奇怪blog的附件该怎么放？)
http://www.gnu.org/software/wget/
WGET 手册
适用于版本 wget 1.1
1. WGet的功能
(1) 后台工作
(2) 支持HTTP、HTTPS、FTP
(3) 支持HTTP Proxy
(4) 跟踪HTML、XHTML中的超链接
(5) 创建远程站点为本地镜像
(6) 转换下载后HTML文件的链接
(7) 下载FTP文件时支持含通配符的文件名
(8) 慢网速、不稳定网络支持
(9) 支持IPv6
2. WGet命令 wget [option]... [URL]...
(1) URL格式
http://host[:port]/directory/file
ftp://host[:port]/directory/file
ftp://user:password@host/path
http://user:password@host/path
*可以对URL中的不安全字符进行“%编码”
ftp://host/directory/file;type=a
*“type=a”表示以ASCII格式下载FTP文件
*“type=i”表示以Binary格式下载FTP文件
(2) Option语法
使用GNU getopt处理命令行参数，每个选项都有简写形式（以“-”开头）和完
整形式（以“--”开头），如：
wget -r --tries=10
http://fly.srk.fer.hr/ -o log
可以将不需要额外参数的选项连接在一起，如：
wget -drc URL 等效于 wget -d -r -c URL
可以用“--”来结束选项，如：
wget -o log -- -x
中的“-x”被当作URL来解析。
大多数选项因为是开关参数而不接受参数
(3) WGet基本启动选项
-V
--version
显示wget的版本号
-h
--help
打印描述wget所有选项的帮助信息
-b
--background
启动后立即转到后台执行；若未使用“-o”选项指定输出文件名，则输出重定向到
2 / 13
“wget-log”文件中
-e command
--execute command
执行.wgetrc配置文件中的命令，关于.wgetrc配置文件的详细内容见后面的“启动文
件”部分
(4) 日志记录及输入文件选项
-o logfile
--output-file=logfile
将所有信息记录到日志文件logfile中
-a logfile
--append-output=logfile
将日志内容添加到logfile尾部，而不是覆盖旧的logfile
-d
--debug
打开调试输出信息，该选项对于wget的开发者非常有用。若wget编译时未打开调试
支持，则此选项无效
-q
--quiet
关闭wget的输出
-v
--verbose
打开详细输出，显示所有变化信息，默认此选项是打开的
-nv
--non-verbose
关闭详细输出，但仍然会输出错误信息和基本信息
-i file
--input-file=file
从文件file中读URL，若这里“file”=“-”，则URL从标准输入读取，请使用“./-”来读取
文件名为“-”的文件
-F
--force-html
当URL输入是从一个文件中读取时，可以强制指定该文件为HTML文件，而不管此
文件实际是什么格式的。这样使您可以下载现有HTML文件中的相对链接到本地，
但需要添加“”到HTML中，或使用--base command-line选项。
-B URL
--base=URL
与“-F”选项协同工作，相当于添加“”到“-i”指定的文件中
(5) 下载选项
--bind-address=ADDRESS
当建立客户端TCP/IP连接时，将ADDRESS绑定到本地机器，ADDRESS可以是主机
名或IP地址，当您的主机绑定了多个IP时，该选项非常有用
-t number
--tries=number
设定网络不好时wget的重连次数，默认是20次，当number =0时代表无限次重连，
3 / 13
当遇到致命错误如“connection refused”或“not found”（404），则停止自动重连
-O file
--output-document=file
将下载的文件全部连接在一起写入文件file
-nc
--no-clobber
若同一路径下存在相同文件名的文件则不再下载，这里clobber有点用词不当
-c
--continue
继续下载未完成的下载，例如
wget -c
ftp://sunsite.doc.ic.ac.uk/ls-lR.Z
如果本地存在的ls-lR.Z这个文件的长度小于对应的远程文件，则wget将从本地文件
长度的偏移量处开始下载远程同名文件
--progress=type
选择下载进度条的形式，合法的type有“dot”和“bar”（默认）两种
-N
--timestamping
打开时戳，详见“时戳”部分
-S
--server-response
打印HTTP服务器发送的HTTP头部及FTP服务器发送的响应
--spider
当打开此选项，wget将工作在Web Spider模式下。Wget不下载页面，仅仅是检查这
些页面是否还存在。例如，可以使用wget来检查您的书签：
wget --spider --force-html -i bookmarks.html
-T seconds
--timeout=seconds
设定网络超时时间为seconds秒，等效于同时设定“--dns-timeout”，“--connect-timeout”
以及“--read-timeout”。默认是900秒读超时，超时相关选项仅接受十进制数值，支
持小数（如0.1秒）
--dns-timeout=seconds
设定DNS查询超时时间，默认无DNS超时时间
--connect-timeout=seconds
设定连接超时时间，默认无DNS超时时间
--read-timeout=seconds
设定读写超时时间（即进程挂起时间），该选项不直接影响整个下载过程，默认读
超时时间是900秒
waitretry=seconds
若不需要在重新获取页面时等待，而仅当下载失败时等待指定时间。在默认的
wgetrc配置文件中此选项是关闭的
--random-wait
在0~2倍等待时间之间随机选择重新获取文件的等待时间，以躲过网站日志分析。
--no-proxy
不使用代理（即使定义了*_proxy环境变量）
4 / 13
-Q quota
--quota=quota
指定自动下载的限额，quota值是字节数；配额不影响单个文件的下载，主要用于
回归下载和URL输入是文件时
--no-dns-cache
关闭DNS查询缓冲
--restrict-file-names=mode
替换远端URL中在本机受限制的字符，例如，用%编码替换。默认情况下，wget
是跳过这些字符（包括控制字符）。当设定mode为“unix”时，wget跳过字符“/”以及
ASCII值在0–31和128–159之间的控制字符，这在unix类操作系统中的默认规定；当
设定mode为“windows”时，wget跳过的字符包括“\”、“|”、“/”、“:”、“?”“"”、“*”、“<”、
“>”，以及与unix系统中相同的控制字符。在windows模式中，wget使用“+”代替“:”
以分隔本地文件名中的主机和端口；使用“@”代替“?”以分隔文件名中的查询参数。
例如：在unix模式下的URL：www.xemacs.org:4300/search.pl?input=blah，在windows
模式下则表示为：www.xemacs.org+4300/search.pl@input=blah。若要跳过控制字符，
则可以使用：--restrict-file-names=nocontrol
-4
--inet4-only
-6
--inet6-only
强制连接IPv4地址或IPv6地址
--prefer-family=IPv4/IPv6/none
指定优先考虑特定地址族，默认是IPv4
--retry-connrefused
把“connection refused”当成是暂态错误并再次尝试
--user=user
--password=password
为HTTP或FTP文件获取指定用户名密码
(6) 目录选项
-nd
--no-directories
当递归地获取文件是，不创建分层的目录
-x
--force-directories
强迫创建一个分层目录，即使该目录本地不存在
-nH
--no-host-directories
禁用主机名前缀的目录
--protocol-directories
使用协议名作为本地文件名的一个路径项
--cut-dirs=number
忽略number部分的目录成分，例如：
无选项 ->
ftp.xemacs.org/pub/xemacs/
-nH -> pub/xemacs/
5 / 13
-nH --cut-dirs=1 -> xemacs/
-nH --cut-dirs=2 -> .
无选项 ->
ftp.xemacs.org/pub/xemacs/
--cut-dirs=1 ->
ftp.xemacs.org/xemacs/
-P prefix
--directory-prefix=prefix
设定目录前缀为prefix。默认是“.”
(7) HTTP选项
-E
--html-extension
将保存的URL的文件后缀名设定为“.html”
--http-user=user
--http-password=password
指定某个HTTP服务器上的用户名和密码，wget使用基本授权方案或消息摘要方案
对用户名和密码进行加密
--no-cache
禁用Server端的cache，这对从代理服务器上重新获取本地已经过期的文档非常有效。
wget默认是允许使用cache
--no-cookies
禁用cookie；wget默认允许使用cookie
--load-cookies file
在第一次的HTTP重新获取前，从txt文件file中加载cookie
--save-cookies file
退出前将cookie保存到file文件中，但不保存已过期的cookie和无有效期的cookie（会
话cookie）
--keep-session-cookies
若设定此项，则--save-cookies file也保存会话cookie
--ignore-length
忽略HTTP中的Content-Length头，不仅仅下载Content-Length指定的长度
--header=header-line
在下载的HTML文件中添加头部header-line，例如：
wget --header=‘Accept-Charset: iso-8859-2‘ \
--header=‘Accept-Language: hr‘ \
http://fly.srk.fer.hr/
wget --header="Host: foo.bar"
http://localhost/意义是：
wget连接到localhost，但是在Host头部指定foo.bar
--proxy-user=user
--proxy-password=password
为代理服务器的授权指定用户名和密码，wget采用基本授权方法对用户名和密码编
码
--referer=url
在HTTP请求中添加“Referer: url”
--save-headers
6 / 13
保存HTTP发送的头部到文件中
-U agent-string
--user-agent=agent-string
将自己标识为agent-string
--post-data=string
--post-file=file
使用POST方法在HTTP请求中发送特定数据。注意，wget需要事先知道数据长度应
用举例：
#登陆到服务器
wget --save-cookies cookies.txt \
--post-data ‘user=foo&password=bar‘ \
http://server.com/auth.php
#开始“爬”网页
wget --load-cookies cookies.txt \
-p
http://server.com/interesting/article.php
(8) HTTPS (SSL/TLS)选项
--secure-protocol=protocol
选择使用的安全协议，protocol合法值包括：auto，SSLv2，SSLv3及TLSv1
--no-check-certificate
不按照有效证书授权检查服务器授权证书
--certificate=file
使用客户端保存在file中的证书
--certificate-type=type
设定客户端认证方式，默认方式是PEM以及DER（也就是ASN1）
--private-key=file
从文件中读取私钥
--private-key-type=type
设定私钥类型，合法值包括：PEM（默认）和DER
--ca-certificate=file
用指定文件对对等端（peer）进行CA（certificate authorities）认证
--ca-directory=directory
指定包含PEM格式的CA认证目录
--random-file=file
指定特定文件为伪随机数生成器的数据源
--egd-file=file
指定特定文件为EGD（Entropy Gathering Daemon） socket
(9) FTP选项
--ftp-user=user
--ftp-password=password
指定某个FTP服务器上的用户名和密码
--no-remove-listing
不删除在获取FTP文件时生成的临时的.listing文件
--no-glob
关闭FTP通配符，默认允许使用通配符
7 / 13
--no-passive-ftp
禁用被动FTP传输模式
--retr-symlinks
转换符号链接，并指向下载的文件
--no-http-keep-alive
关闭HTTP下载的“keep-alive”特性
(10) 递归获取选项
-r
--recursive
打开递归获取选项
-l depth
--level=depth
指定递归的最大深度，默认最大深度是5
--delete-after
在单一文档下载后立即删除
-k
--convert-links
下载完成后，转换页面中的链接以方便本地浏览
链接转换的两种方式：
a. 指向已下载文件的链接，则转换为相对链接
b. 指向未能下载成功的文件的链接，转换为“http://localhost/...”形式
-K
--backup-converted
转换链接前将原始文件备份（后缀为.orig）
-m
--mirror
打开适合与做镜像的选项（recursion、time-stamping等）
-p
--page-requisites
下载能够完全显示一个给定的HTML网页的所有文件
--strict-comments
精确解析HTML注释，默认是遇到第一个“-->”即终止解析
(11) 递归接受/拒绝选项
-A acclist
--accept acclist
-R rejlist
--reject rejlist
设定接受/拒绝递归下载以逗号分开的文件名前缀或模式列表
-D domain-list
--domains=domain-list
设定要追踪的域
--exclude-domains domain-list
指定不要求追踪的域
8 / 13
--follow-ftp
追踪HTML文档中的FTP链接，默认忽略所有FTP链接
--follow-tags=list
Wget包含一个HTML标记/属性对列表，按照list列表文件追踪HTML标记
--ignore-tags=list
不追踪list列表文件指定的HTML标记
-H
--span-hosts
允许跨越服务器进行递归下载
-L
--relative
仅追踪相对链接
-I list
--include-directories=list
指定追踪目录
-X list
--exclude-directories=list
指定不追踪的目录
-np
--no-parent
不向上追踪到父目录
3. 递归下载
(1) 遍历万维网的一部分或一台HTTP服务器或FTP服务器
(2) 追踪链接或目录结构
(3) 利用输入的URL或文件解析HTML
(4) HTTP递归下载采用广度优先算法，最大深度可以设定（默认为5）
(5) FTP递归下载采用深度优先算法，能够下载FTP服务器直到给定深度的所有数据
(6) 能够镜像FTP站点
(7) 默认按照远程站点目录结构创建本地目录
(8) 使用递归下载时注意使用延时操作
(9) 一些例子
? 下载单一网页，使用--page-requisites选项
? 下载单一目录下的某些文件，使用-np选项
? 下载单一目录下的所有文件，使用-l 1选项
4. 链接追踪 如何避免下载不想要的链接
(1) 访问主机的树型扩展（默认情况下，每次下载仅访问一台主机）
? 扩展至任何关联主机XX-H选项
? 限制扩展至某些域XX-D选项
例如：wget -rH -Dserver.com
http://www.server.com/
可以从所有*.server.com域下载文件
? 禁止扩展至某些域XX--exclude-domains选项
例如：wget -rH -Dfoo.edu --exclude-domains sunsite.foo.edu \
9 / 13
http://www.foo.edu/
从所有foo.edu域下载文件，而禁止从sunsite.foo.edu下载文件
(2) 文件类型限制
-A acclist
--accept acclist
accept = acclist
--accept选项的参数是一个文件名后缀（如gif或.gif）或字符串模式列表（如czy*
or czyBear*196[0-9]*）
-R rejlist
--reject rejlist
reject = rejlist
--reject选项与--accept选项工作方式相同，但逻辑相反
注意：这两个选项不影响HTML文件下载
(3) 基于目录的限制
-I list
--include list
include_directories = list
下载目录列表中的目录
-X list
--exclude list
exclude_directories = list
禁止下载目录列表中的目录
-np
--no-parent
no_parent = on
禁止访问远端当前目录的上层
(4) 相对链接
打开-L选项可以仅下载超链接中的相对链接，而不下载绝对链接
(5) 追踪FTP链接
由于FTP与HTTP协议的不同，所以要追踪FTP链接请使用--follow-ftp选项
5. 使用时戳对下载的文件进行增量更新
使用-S选项可以在本地保留页面对应的时戳，进行增量下载是使用-N选项，例如：
初次下载网页使用：wget -S
http://www.gnu.ai.mit.edu/
以后更新网页使用：wget -N
http://www.gnu.ai.mit.edu/
对于HTTP协议，时戳需要“Last-Modified”头部支持，而对于FTP协议，取决于wget
能够解析获得目录列表中包含的日期的格式
6. 启动文件（wgetrc）
(1) Wgetrc的位置
wget启动时，将查找全局的启动配置文件，默认情况下，这个文件位于：
“/usr/local/etc/wgetrc”；若该位置不存在此文件，则查找环境变量WGETRC指定的
位置；若WGETRC环境变量未设定，wget会加载$HOME/.wgetrc；否则报错！
10 / 13
(2) Wgetrc语法
wgetrc命令行的语法非常简单：“variable = value”。wgetcrc命令行语法不区分
大小写，不区分有无下划线，忽略空行和以“#”开头的行
(3) Wgetrc命令
wgetrc命令全集如下表：
一些说明： 合法值都列在“=”后面；
Bool值得设定可以用on/off或1/0；
某些命令使用了伪随机数；
“address”可以是主机名或以点分十进制表示的IP地址；
“n”可以是正整数或无穷大（inf）
“string”可以是任何非空字符串
命令 说明
accept/reject = string 相当于-A/-R
add_hostdir = on/off 允许/禁止使用主机名前缀的文件名；可以用-nH禁用
continue = on/off 允许/禁止继续完成下载部分完成的文件
background = on/off 允许/禁止后台运行；相当于-b
backup_converted =
on/off
允许/禁止用后缀名.orig保存转换前的文件；相当于-K
base = string 用于绝对地址于相对地址的替换；相当于--base=string
bind_address = address 地址绑定；相当于--bind-address=address
ca_certificate = file 设定权限认证文件；相当于--ca-certificate=file
ca_directory = directory 设定权限认证文件的目录；相当于--ca-directory=directory
cache = on/off 打开/关闭服务器cache；相当于--no-cache
certificate = file 设定客户端认证文件；相当于--certificate=file
certificate_type = string 设定认证类型；相当于--certificate-type=string
check_certificate =
on/off
设定是否进行授权确认；相当于--check-certificate
convert_links = on/off 是否转换非相对链接；相当于-k
cookies = on/off 是否允许cookies；相当于--cookies
connect_timeout = n 设定连接超时时间；相当于--connect-timeout
cut_dirs = n 忽略远程第n层目录成分；相当于--cut-dirs=n
debug = on/off 调试模式；相当于-d
delete_after = on/off 下载后是否删除；相当于--delete-after
dir_prefix = string 设定目录树的最顶级目录名；相当于-P string
dirstruct = on/off 打开/关闭目录结构；相当于-x 或 -nd
dns_cache = on/off 打开/关闭DNS cache；相当于--no-dns-cache
dns_timeout = n 设定DNS超时时间；相当于--dns-timeout
domains = string 相当于-D
dot_bytes = n 进度条使用点时，设定每个点代表的Byte数（默认1024）
dots_in_line = n 进度条使用点时，设定每行的点数（默认50）
11 / 13
dot_spacing = n 设定一串中点的个数（默认10）
egd_file = file 设定EGD socket文件名为file；相当于--egd-file=file
exclude_directories =
string
设定不用下载的目录；相当于-X
exclude_domains =
string
相当于--exclude-domains=string
follow_ftp = on/off 是否追踪HTML文件中的FTP链接；相当于--follow-ftp
follow_tags = string 仅追踪指定的HTML标记；相当于--follow-tags=string
force_html = on/off 是否强制将输入文件名的对应文件当成HTML文件（-F）
ftp_password = string 设定FTP密码
ftp_proxy = string 将string当作FTP下载的代理
ftp_user = string 设定FTP用户名
glob = on/off 打开或关闭成团下载；相当于--glob和--no-glob
header = string 为下载的HTTP文件添加头部；相当于--header=string
html_extension = on/off 在text/html或application/xhtml+xml类无后缀名的文件名后添加
“.html”后缀；相当于-E
http_keep_alive = on/off 是否保持HTTP链接活跃；相当于--no-http-keep-alive
http_password = string 设定HTTP下载用的密码；相当于--http-password=string
http_proxy = string 设定HTTP代理
http_user = string 设定HTTP 下载用户名；相当于--http-user=string
ignore_length = on/off 是否忽略Content-Length头部；相当于--ignore-length
ignore_tags = string 递归下载时忽略某些标记；相当于--ignore-tags=string
include_directories =
string
设定下载时追踪的目录；相当于-I string
inet4_only = on/off 强制连接IPv4地址；相当于--inet4-only或-4
inet6_only = on/off 强制连接IPv6地址；相当于--inet6-only或-6
input = file 从文件中读取URL；相当于-i file
kill_longer = on/off 是否将超出Content-Length头部值的数据当作无效数据
limit_rate = rate 限定下载速率；相当于--limit-rate=rate
load_cookies = file 从文件中加载cookie；相当于--load-cookies file
logfile = file 设定日志文件；相当于-o file
mirror = on/off 打开/关闭镜像功能；相当于-m
netrc = on/off 是否读netrc文件
noclobber = on/off 相当于-nc
no_parent = on/off 是否允许下载当前目录的上层；相当于--no-parent
no_proxy = string 避免某些代理的加载
output_document = file 设定输出文件名；相当于-O file
page_requisites = on/off 是否下载用于完全显示页面的元素；相当于-p
passive_ftp =
on/off/always/never
更改被动FTP的设定；相当于--passive-ftp
password = string 同时设定FTP和HTTP下载的密码
12 / 13
post_data = string 用POST方法发送所有HTTP请求，此请求的内容为一个字符串；
相当于--post-data=string
post_file = file 用POST方法发送所有HTTP请求，此请求的内容为一个文件；相
当于--post-file=file
prefer_family =
IPv4/IPv6/none
设定优先考虑的地址族；相当于--prefer-family
private_key = file 设定私钥文件；相当于--private-key=file
private_key_type =
string
设定私钥类型；相当于--private-type=string
progress = string 设定进度条类型；相当于--progress=string
protocol_directories =
on/off
是否用协议名作为目录成分；相当于--protocol-directories
proxy_user = string 设定代理授权用户名；相当于--proxy-user=string
proxy_password = string 设定代理授权密码；相当于--proxy-password=string
quiet = on/off 是否打开安静模式；相当于-q
quota = quota 设定下载限额
random_file = file 在系统无/dev/random的情况下，设定随机数生成目录
read_timeout = n 设定读超时时间；相当于--read-timeout=n
reclevel = n 设定递归下载的深度；相当于-l n
recursive = on/off 打开或关闭递归下载；相当于-r
referer = string 设定HTTP Referer，相当于--referer=string
relative_only = on/off 是否仅追踪相对链接；相当于-L
remove_listing = on/off 是否删除wget 下载过程中生成的 FTP 列表； 相当于
--no-remove-listing
restrict_file_names =
unix/windows
相当于--restrict-file-names
retr_symlinks = on/off 当下在普通页面文件时， 是否获取符号链接； 相当于
--retr-symlinks
retry_connrefused =
on/off
是否将“connection refused” 当作暂时错误； 相当于
--retry-connrefused
robots = on/off 设定是否参考智能机器人的设定，默认是启用
save_cookies = file 将cookies保存到文件中；相当于--save-cookies file
secure_protocol = string 设定使用的安全协议；相当于--secure-protocol=string
server_response = on/off 设定是否打印服务器响应；相当于-S
span_hosts = on/off 是否对主机名进行扩展；相当于-H
strict_comments = on/off 相当于--strict-comments
timeout = n 设定超时时间；相当于-T n
timestamping = on/off 设定是否打开时戳功能；相当于-N
tries = n 设定下载每个URL的最大尝试次数；相当于-t n
use_proxy = on/off 设定是否使用代理；相当于--no-proxy
user = string 同时设定下载HTTP和FTP文件的用户名
verbose = on/off 打开或关闭详细输出结果；相当于-v/-nv
13 / 13
wait = n 设定两次下载之间的间隔；相当于-w n
waitretry = n 设定下载尝试失败时等待的时间；相当于--waitretry=n
randomwait = on/off 是否设定请求之间的等待时间为随机数
标签：
原文地址：http://blog.csdn.net/ztguang/article/details/51727545
