码迷，mamicode.com
首页 > Web开发 > 详细

Linux curl命令详解

时间：2014-12-10 12:31:42      阅读：386      评论：0      收藏：0      [点我收藏+]

标签：style   blog   http   io   ar   os   使用   sp   for   

用途说明

curl命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而curl命令可以帮助来解决开发过程中遇到的问题。

常用参数

curl命令参数很多，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

-A:随意指定自己这次访问所宣称的自己的浏览器信息

-b/--cookie <name=string/file> cookie字符串或文件读取位置，使用option来把上次的cookie信息追加到http request里面去。

-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

-C/--continue-at <offset>  断点续转

-d/--data <data>   HTTP POST方式传送数据

-D/--dump-header <file> 把header信息写入到该文件中

-F/--form <name=content> 模拟http表单提交数据

-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。

-m/--max-time <seconds> 指定处理的最大时长

-H/--header <header> 指定请求头参数

-s/--slient 减少输出的信息，比如进度

--connect-timeout <seconds> 指定尝试连接的最大时长

-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080

-T/--upload-file <file> 指定上传文件路径

-o/--output <file> 指定输出文件名称

--retry <num> 指定重试次数

-e/--referer <URL> 指定引用地址

-I/--head 仅返回头部信息，使用HEAD请求

-u/--user <user[:password]>设置服务器的用户和密码

-O:按照服务器上的文件名，自动存在本地

-r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围

-T/--upload-file <file> 上传文件

使用示例

1，抓取页面内容到一个文件中

　　[root@xi mytest]# curl -o home.html http://www.baidu.com   --将百度首页内容抓下到home.html中

　　   [root@xi mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG

           由于A/B下的文件名都是001，002...，201，下载下来的文件重名，这样，自定义出来下载下来的文件名，就变成了这样：原来： A/001.JPG —-> 下载后： 001-A.JPG 原来： B/001.JPG ---> 下载后： 001-B.JPG

 

2，用-O（大写的），后面的url要具体到某个文件，不然抓不下来。还可以用正则来抓取东西

　　[root@xi mytest]# curl -O http://www.baidu.com/img/bdlogo.gif

         运行结果如下：

        % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                                                   Dload  Upload   Total   Spent    Left  Speed
       100  1575  100  1575    0     0  14940      0 --:--:-- --:--:-- --:--:-- 1538k

          会在当前执行目录中生成一张bdlogo.gif的图片。

　　[root@xi mytest]# curl -O http://XXXXX/screen[1-10].JPG  --下载screen1.jpg~screen10.jpg

3，模拟表单信息，模拟登录，保存cookie信息

　　[root@xi mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php

4，模拟表单信息，模拟登录，保存头信息

　　[root@xi mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php

　　-c(小写)产生的cookie和-D里面的cookie是不一样的。

5，使用cookie文件

　　[root@xi mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin

6，断点续传，-C(大写)

　　[root@xi mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif

7，传送数据,最好用登录页面测试，因为你传值过去后，curl回抓数据，你可以看到你传值有没有成功

　　[root@xi mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php

8，显示抓取错误，下面这个例子，很清楚的表明了。

　　[root@xi mytest]# curl -fhttp://www.XXXX.com/asdf

　　curl: (22) The requested URL returned error: 404

　　[root@xi mytest]# curlhttp://www.XXXX.com/asdf

　　<HTML><HEAD><TITLE>404,not found</TITLE>

9，伪造来源地址，有的网站会判断，请求来源地址，防止盗链。

　　[root@xi mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php

10，当我们经常用curl去搞人家东西的时候，人家会把你的IP给屏蔽掉的,这个时候,我们可以用代理

　　[root@xi mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com

11，比较大的东西，我们可以分段下载

　　[root@xi mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0    105      0 --:--:-- --:--:-- --:--:--     0

　　[root@xi mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0     57      0  0:00:01  0:00:01 --:--:--     0

　　[root@xi mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100  104k  100  104k    0     0  52793      0  0:00:02  0:00:02 --:--:-- 88961

　　[root@xi mytest]# ls |grep part | xargs du -sh

　　4.0K    one.part1

　　112K    three.part3

　　4.0K    two.part2

　　用的时候，把他们cat一下就OK,cat img.part* >img.jpg

12，不会显示下载进度信息

　　[root@xi mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif

13，显示下载进度条

　　[root@xi mytest]# curl  -0 http://www.baidu.com/img/bdlogo.gif     (以http1.0协议请求)

####################################################################### 100.0%

14,通过ftp下载文件

　　[xifj@Xi ~]$ curl -u用户名:密码 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　[xifj@Xi ~]$ curl -u 用户名:密码 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　或者用下面的方式

　　[xifj@Xi ~]$ curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css

　　[xifj@Xi ~]$ curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css

　　15，通过ftp上传

　　[xifj@Xi ~]$ curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/

　　[xifj@Xi ~]$ curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/

 

15,模拟浏览器头

 

　　[xifj@Xi ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com

16,PUT、GET、POST

比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，这时候，使用的协议是HTTP的PUT method 
刚才说到PUT，自然想起来了其他几种methos－－GET和POST。 
http提交一个表单，比较常用的是POST模式和GET模式 
GET模式什么option都不用，只需要把变量写在url里面就可以了
比如：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345 
而POST模式的option则是 -d 
比如，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就相当于向这个站点发出一次登陆申请~~~~~ 
到底该用GET模式还是POST模式，要看对面服务器的程序设定。 
一点需要注意的是，POST模式下的文件上的文件上传，比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="go">
</form>
这样一个HTTP表单，我们要用curl进行模拟，就该是这样的语法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi 

 

 

 

 

 

 

 

------------------------------------------------------------------------

一，curl命令参数，有好多我没有用过，也不知道翻译的对不对，如果有误的地方，还请指正。

查看复制打印?
  1. -a/--append 上传文件时，附加到目标文件  
  2.  -A/--user-agent <string>  设置用户代理发送给服务器  
  3.  - anyauth   可以使用“任何”身份验证方法  
  4.  -b/--cookie <name=string/file> cookie字符串或文件读取位置  
  5.  - basic 使用HTTP基本验证  
  6.  -B/--use-ascii 使用ASCII /文本传输  
  7.  -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中  
  8.  -C/--continue-at <offset>  断点续转  
  9.  -d/--data <data>   HTTP POST方式传送数据  
  10.  --data-ascii <data>  以ascii的方式post数据  
  11.  --data-binary <data> 以二进制的方式post数据  
  12.  --negotiate     使用HTTP身份验证  
  13.  --digest        使用数字身份验证  
  14.  --disable-eprt  禁止使用EPRT或LPRT  
  15.  --disable-epsv  禁止使用EPSV  
  16.  -D/--dump-header <file> 把header信息写入到该文件中  
  17.  --egd-file <file> 为随机数据(SSL)设置EGD socket路径  
  18.  --tcp-nodelay   使用TCP_NODELAY选项  
  19.  -e/--referer 来源网址  
  20.  -E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)  
  21.  --cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)  
  22.  --key <key>     私钥文件名 (SSL)  
  23.  --key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)  
  24.  --pass  <pass>  私钥密码 (SSL)  
  25.  --engine <eng>  加密引擎使用 (SSL). "--engine list" for list  
  26.  --cacert <file> CA证书 (SSL)  
  27.  --capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)  
  28.  --ciphers <list>  SSL密码  
  29.  --compressed    要求返回是压缩的形势 (using deflate or gzip)  
  30.  --connect-timeout <seconds> 设置最大请求时间  
  31.  --create-dirs   建立本地目录的目录层次结构  
  32.  --crlf          上传是把LF转变成CRLF  
  33.  -f/--fail          连接失败时不显示http错误  
  34.  --ftp-create-dirs 如果远程目录不存在，创建远程目录  
  35.  --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用  
  36.  --ftp-pasv      使用 PASV/EPSV 代替端口  
  37.  --ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址  
  38.  --ftp-ssl       尝试用 SSL/TLS 来进行ftp数据传输  
  39.  --ftp-ssl-reqd  要求用 SSL/TLS 来进行ftp数据传输  
  40.  -F/--form <name=content> 模拟http表单提交数据  
  41.  -form-string <name=string> 模拟http表单提交数据  
  42.  -g/--globoff 禁用网址序列和范围使用{}和[]  
  43.  -G/--get 以get的方式来发送数据  
  44.  -h/--help 帮助  
  45.  -H/--header <line>自定义头信息传递给服务器  
  46.  --ignore-content-length  忽略的HTTP头信息的长度  
  47.  -i/--include 输出时包括protocol头信息  
  48.  -I/--head  只显示文档信息  
  49.  从文件中读取-j/--junk-session-cookies忽略会话Cookie  
  50.  - 界面<interface>指定网络接口/地址使用  
  51.  - krb4 <级别>启用与指定的安全级别krb4  
  52.  -j/--junk-session-cookies 读取文件进忽略session cookie  
  53.  --interface <interface> 使用指定网络接口/地址  
  54.  --krb4 <level>  使用指定安全级别的krb4  
  55.  -k/--insecure 允许不使用证书到SSL站点  
  56.  -K/--config  指定的配置文件读取  
  57.  -l/--list-only 列出ftp目录下的文件名称  
  58.  --limit-rate <rate> 设置传输速度  
  59.  --local-port<NUM> 强制使用本地端口号  
  60.  -m/--max-time <seconds> 设置最大传输时间  
  61.  --max-redirs <num> 设置最大读取的目录数  
  62.  --max-filesize <bytes> 设置最大下载的文件总量  
  63.  -M/--manual  显示全手动  
  64.  -n/--netrc 从netrc文件中读取用户名和密码  
  65.  --netrc-optional 使用 .netrc 或者 URL来覆盖-n  
  66.  --ntlm          使用 HTTP NTLM 身份验证  
  67.  -N/--no-buffer 禁用缓冲输出  
  68.  -o/--output 把输出写到该文件中  
  69.  -O/--remote-name 把输出写到该文件中，保留远程文件的文件名  
  70.  -p/--proxytunnel   使用HTTP代理  
  71.  --proxy-anyauth 选择任一代理身份验证方法  
  72.  --proxy-basic   在代理上使用基本身份验证  
  73.  --proxy-digest  在代理上使用数字身份验证  
  74.  --proxy-ntlm    在代理上使用ntlm身份验证  
  75.  -P/--ftp-port <address> 使用端口地址，而不是使用PASV  
  76.  -Q/--quote <cmd>文件传输前，发送命令到服务器  
  77.  -r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围  
  78.  --range-file 读取（SSL）的随机文件  
  79.  -R/--remote-time   在本地生成文件时，保留远程文件时间  
  80.  --retry <num>   传输出现问题时，重试的次数  
  81.  --retry-delay <seconds>  传输出现问题时，设置重试间隔时间  
  82.  --retry-max-time <seconds> 传输出现问题时，设置最大重试时间  
  83.  -s/--silent静音模式。不输出任何东西  
  84.  -S/--show-error   显示错误  
  85.  --socks4 <host[:port]> 用socks4代理给定主机和端口  
  86.  --socks5 <host[:port]> 用socks5代理给定主机和端口  
  87.  --stderr <file>  
  88.  -t/--telnet-option <OPT=val> Telnet选项设置  
  89.  --trace <file>  对指定文件进行debug  
  90.  --trace-ascii <file> Like --跟踪但没有hex输出  
  91.  --trace-time    跟踪/详细输出时，添加时间戳  
  92.  -T/--upload-file <file> 上传文件  
  93.  --url <URL>     Spet URL to work with  
  94.  -u/--user <user[:password]>设置服务器的用户和密码  
  95.  -U/--proxy-user <user[:password]>设置代理用户名和密码  
  96.  -v/--verbose  
  97.  -V/--version 显示版本信息  
  98.  -w/--write-out [format]什么输出完成后  
  99.  -x/--proxy <host[:port]>在给定的端口上使用HTTP代理  
  100.  -X/--request <command>指定什么命令  
  101.  -y/--speed-time 放弃限速所要的时间。默认为30  
  102.  -Y/--speed-limit 停止传输速度的限制，速度时间‘秒  
  103.  -z/--time-cond  传送时间设置  
  104.  -0/--http1.0  使用HTTP 1.0  
  105.  -1/--tlsv1  使用TLSv1（SSL）  
  106.  -2/--sslv2 使用SSLv2的（SSL）  
  107.  -3/--sslv3         使用的SSLv3（SSL）  
  108.  --3p-quote      like -Q for the source URL for 3rd party transfer  
  109.  --3p-url        使用url，进行第三方传送  
  110.  --3p-user       使用用户名和密码，进行第三方传送  
  111.  -4/--ipv4   使用IP4  
  112.  -6/--ipv6   使用IP6  
  113.  -#/--progress-bar 用进度条显示当前的传送状态  

二，常用curl实例

1，抓取页面内容到一个文件中

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -o home.html  http://blog.51yip.com  

2，用-O（大写的），后面的url要具体到某个文件，不然抓不下来。我们还可以用正则来抓取东西

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -O http://blog.51yip.com/wp-content/uploads/2010/09/compare_varnish.jpg  
  2. [root@krlcgcms01 mytest]# curl -O http://blog.51yip.com/wp-content/uploads/2010/[0-9][0-9]/aaaaa.jpg  

3，模拟表单信息，模拟登录，保存cookie信息

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=****** http://blog.51yip.com/wp-login.php  

4，模拟表单信息，模拟登录，保存头信息

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=****** http://blog.51yip.com/wp-login.php  

-c(小写)产生的cookie和-D里面的cookie是不一样的。

5，使用cookie文件

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -b ./cookie_c.txt  http://blog.51yip.com/wp-admin  

6，断点续传，-C(大写的)

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -C -O http://blog.51yip.com/wp-content/uploads/2010/09/compare_varnish.jpg  

7，传送数据,最好用登录页面测试，因为你传值过去后，curl回抓数据，你可以看到你传值有没有成功

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -d log=aaaa  http://blog.51yip.com/wp-login.php  

8，显示抓取错误，下面这个例子，很清楚的表明了。

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -f http://blog.51yip.com/asdf  
  2. curl: (22) The requested URL returned error: 404  
  3. [root@krlcgcms01 mytest]# curl http://blog.51yip.com/asdf  
  4.   
  5. <HTML><HEAD><TITLE>404,not found</TITLE>  
  6. 。。。。。。。。。。。。  

9，伪造来源地址，有的网站会判断，请求来源地址。

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -e http://localhost http://blog.51yip.com/wp-login.php  

10，当我们经常用curl去搞人家东西的时候，人家会把你的IP给屏蔽掉的,这个时候,我们可以用代理

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -x 24.10.28.84:32779 -o home.html http://blog.51yip.com  

11，比较大的东西，我们可以分段下载

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -r 0-100 -o img.part1 http://blog.51yip.com/wp-  
  2.   
  3. content/uploads/2010/09/compare_varnish.jpg  
  4.  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current  
  5.  Dload  Upload   Total   Spent    Left  Speed  
  6. 100   101  100   101    0     0    105      0 --:--:-- --:--:-- --:--:--     0  
  7. [root@krlcgcms01 mytest]# curl -r 100-200 -o img.part2 http://blog.51yip.com/wp-  
  8.   
  9. content/uploads/2010/09/compare_varnish.jpg  
  10.  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current  
  11.  Dload  Upload   Total   Spent    Left  Speed  
  12. 100   101  100   101    0     0     57      0  0:00:01  0:00:01 --:--:--     0  
  13. [root@krlcgcms01 mytest]# curl -r 200- -o img.part3 http://blog.51yip.com/wp-  
  14.   
  15. content/uploads/2010/09/compare_varnish.jpg  
  16.  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current  
  17.  Dload  Upload   Total   Spent    Left  Speed  
  18. 100  104k  100  104k    0     0  52793      0  0:00:02  0:00:02 --:--:-- 88961  
  19. [root@krlcgcms01 mytest]# ls |grep part | xargs du -sh  
  20. 4.0K    one.part1  
  21. 112K    three.part3  
  22. 4.0K    two.part2  

用的时候，把他们cat一下就OK了,cat img.part* >img.jpg

12，不会显示下载进度信息

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -s -o aaa.jpg  http://blog.51yip.com/wp-content/uploads/2010/09/compare_varnish.jpg  

13，显示下载进度条

查看复制打印?
  1. [root@krlcgcms01 mytest]# curl -# -O  http://blog.51yip.com/wp-content/uploads/2010/09/compare_varnish.jpg  
  2. ######################################################################## 100.0%  

14,通过ftp下载文件

查看复制打印?
  1. [zhangy@BlackGhost ~]$ curl -u 用户名:密码 -O http://blog.51yip.com/demo/curtain/bbstudy_files/style.css  
  2.  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current  
  3.  Dload  Upload   Total   Spent    Left  Speed  
  4. 101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136  

或者用下面的方式

查看复制打印?
  1. [zhangy@BlackGhost ~]$ curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css  

15，通过ftp上传

查看复制打印?
  1. [zhangy@BlackGhost ~]$ curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/  

Linux curl命令详解

标签：style   blog   http   io   ar   os   使用   sp   for   

原文地址：http://www.cnblogs.com/steven9801/p/4155054.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！