码迷,mamicode.com
首页 > Web开发 > 详细

linux-wget和curl

时间:2020-01-17 13:11:44      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:指定   rename   存储   links   网站   ble   网页   密码认证   http   

一:wget(Wget用于文件下载,在安装软件时会经常用到。)

1、安装

1.安装wget:

sudo apt install wget

2.查看是否成功:

wget --version

2、使用

1.使用wget下载单个文件

wget [URL]

wget http://cn2.php.net/distributions/php-5.6.13.tar.gz

2.下载并以不同的文件名保存 

wget -o [你的命名] [URL]

wget -o php5.6.tar.gz http://cn2.php.net/distributions/php-5.6.13.tar.gz

3.使用wget断点续传

wget -c [上次下载的URL]

wget -c http://cn2.php.net/distributions/php-5.6.13.tar.gz

4.使用wget后台下载

wget -b [URL]

tail -f wget-log #查看文件下载进度

wget -b http://cn2.php.net/distributions/php-5.6.13.tar.gz

5.使用wget下载到指定目录

wget [URL] -P [存储地址]

wget http://cn2.php.net/distributions/php-5.6.13.tar.gz -P Download/

6.使用wget用户名和密码认证下载

wget --ftp-user=USERNAME --ftp-password=PASSWORD [URL]

二:curl

1、安装

1.安装:

sudo apt install curl

2.查看是否成功:

curl --version

2、使用

1.查看某网页(该方法大部分用来测试服务器是否能到达另一个网站):curl [URL]

curl http://www.baidu.com

2.保存某网页:

2.1 重定向保存: curl [URL] >> [你的命名]

curl http://www.baidu.com >> baidu.html

2.2 下载网页:curl -o [你的命名] [URL]

curl -o baidu.html http://www.baidu.com

2.3 下载网页中具体某个文件:curl -O [URL]:

curl -O http://www.baidu.com/a7.png

3.指定proxy服务器以及其端口:curl -x [ip:端口] [URL]

curl -x 192.168.0.1:1080 http://www.baidu.com

4.cookie信息及使用:

4.1 将某网页的cookie信息保存到本地:curl -c [保存格式] [URL]

curl -c cookies.txt http://www.baidu.com

4.2 使用cookie::curl -b [保存的cookie信息] [URL]

url -b cookies.txt http://www.baidu.com

5.保存http的response里面的header信息:curl -D [保存格式] [URL]

curl -D headers.txt http://www.baidu.com

6.模仿浏览器:curl -A [UA] [URL]

curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.baidu.com

7.断点续传:curl -C -O [URL]

curl -C -O http://www.linux.com/dodo1.JPG

8.上传文件:curl -T [文件] -u username:password ftp:[URL]

curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/

三:区别

(转自https://www.cnblogs.com/lsdb/p/7171779.html

curl和wget基础功能有诸多重叠,如下载等。

非要说区别的话,curl由于可自定义各种请求参数所以在模拟web请求方面更擅长;wget由于支持ftp和Recursive所以在下载文件方面更擅长。类比的话curl是浏览器,而wget是迅雷9。

1.下载文件

curl -O http://man.linuxde.net/text.iso #O大写,不用O只是打印内容不会下载
wget http://www.linuxde.net/text.iso #不用参数,直接下载文件

2.下载文件并重命名

curl -o rename.iso http://man.linuxde.net/text.iso #o小写
wget -O rename.zip http://www.linuxde.net/text.iso #O大写

3.断点续传

curl -O -C -URL http://man.linuxde.net/text.iso #C大
wget -c http://www.linuxde.net/text.iso #c小写

4.限速下载

curl --limit-rate 50k -O http://man.linuxde.net/text.iso
wget --limit-rate=50k http://www.linuxde.net/text.iso

5.显示响应头部信息

curl -I http://man.linuxde.net/text.iso
wget --server-response http://www.linuxde.net/test.iso

6.wget利器--打包下载网站

wget --mirror -p --convert-links -P /var/www/html http://man.linuxde.net/

linux-wget和curl

标签:指定   rename   存储   links   网站   ble   网页   密码认证   http   

原文地址:https://www.cnblogs.com/springsnow/p/12205279.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!