命令:wget -r -p -np -k http://xxx.edu.cn
-r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载下来,所以要加上-np这个参数,表示不下载别的站点的链接.
-np 表示不下载别的站点的链接.
-k 表示将下载的网页里的链接修改为本地链接
-p 获得所有显示网页所需的元素,比如图片什么的
如果有些网站禁止爬虫,则增加-e robots=off命令。
CentOS更新源
https://wiki.centos.org/Download
https://www.centos.org/download/mirrors/
CentOS国内常见的源:
http://mirrors.aliyun.com/centos/
http://mirrors.163.com/centos/
http://mirrors.sohu.com/centos/
http:://mirrors.shlug.org/centos/
http://mirrors.ta139.com/centos/
http://centos.ustc.edu.cn/centos/
http://mirror.centos.net.cn/
原文地址:http://xdwqs.blog.51cto.com/4758880/1691249