码迷，mamicode.com
首页 > Web开发 > 详细

Linux之curl命令详解

时间：2016-09-27 19:22:00      阅读：190      评论：0      收藏：0      [点我收藏+]

标签：

url命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而curl命令可以帮助来解决开发过程中遇到的问题。

常用参数

curl命令参数很多，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。

-m/--max-time <seconds> 指定处理的最大时长

-H/--header <header> 指定请求头参数

-s/--slient 减少输出的信息，比如进度

--connect-timeout <seconds> 指定尝试连接的最大时长

-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080

-T/--upload-file <file> 指定上传文件路径

-o/--output <file> 指定输出文件名称

-d/--data/--data-ascii <data> 指定POST的内容

--retry <num> 指定重试次数

-e/--referer <URL> 指定引用地址

-I/--head 仅返回头部信息，使用HEAD请求

使用示例

示例一 获取指定网页

[root@jfht ~]# curl http://www.sunrisecorp.net/  <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=gbk" /> <meta name="title" content="欢迎您 - 上海腾一" /> <meta name="keyword" content="上海腾一，融合通信，电子商务，语音通信，数据通信，基站工程外包托管，物联网，网站建设，电子商务解决方案，移动互联网，短信，彩信，呼叫中心，多方会议，PBX，IVR，电子商务策划方案，设备代维，网络优化，通信工程，电信增值，3G" /> <meta name="description" content="上海腾一信息技术有限公司专注于电信增值、通信工程、电子商务等领域，拥有近十年的经验。" /> <title> 欢迎您 - 上海腾一 </title>

 

插播一下广告：上海腾一信息技术有限公司是一家致力于通信工程、电子商务和电信增值业务的公司，请访问官方网址： http://www.sunrisecorp.net/ 。

 

 

此处省略掉网页内容 。

</body> </html>[root@jfht ~]#

示例二 查看响应头信息

[root@jfht ~]# curl -I http://www.sunrisecorp.net/ HTTP/1.1 200 OK Server: Apache-Coyote/1.1 Accept-Ranges: bytes ETag: W/"17801-1285643951000" Last-Modified: Tue, 28 Sep 2010 03:19:11 GMT Content-Type: text/html Content-Length: 17801 Date: Tue, 12 Oct 2010 12:49:20 GMT
[root@jfht ~]#

 

示例三 检查网页是否可正常访问

以下是一个tomcat监控脚本的部分内容。

Bash代码 技术分享 技术分享
  1. # usage: check_once <port> <path>   
  2. # 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。   
  3. check_once()   
  4. {   
  5.         echo   
  6.         echo "$(date)  Tomcat check once"  
  7.         # 2008.08.21 -I/--head -s/--silent   
  8.         #if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/; then   
  9.         # 2010.02.16 add 200 OK test   
  10.         if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/$2 | grep -q ‘200 OK‘;   
  11.   
  12.   
  13.  then   
  14.                 echo "$(date)  Tomcat maybe OK"  
  15.         else   
  16.                 echo "$(date)  Tomcat maybe FAULT"  
  17.                 restart   
  18.         fi   
  19. }   
  20.   
  21. # usage: check_loop <port> <path>   
  22. # 每隔一分钟检查一次网页是否正常   
  23. check_loop()   
  24. {   
  25.         while true;   
  26.         do   
  27.                 sleep 60  
  28.                 check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log   
  29.         done   
  30. }   
  31.   
  32. # usage: monitor <path>   
  33. # 对path指定的本机网页进行监控   
  34. # 2008.06.26  
  35. # 2010.09.20 add path parameter   
  36. monitor()   
  37. {   
  38.         PORT=80  
  39.         if grep ‘Connector port="80"‘ $CATALINA_HOME/conf/server.xml; then   
  40.                 PORT=80  
  41.         elif grep ‘Connector port="8080"‘ $CATALINA_HOME/conf/server.xml; then   
  42.                 PORT=8080  
  43.         else   
  44.                 echo "Cannot detect server port for Tomcat"  
  45.                 return 12  
  46.         fi   
  47.         echo "Tomcat server port is $PORT"  
  48.   
  49.         if status; then   
  50.                 check_loop $PORT "$1" &   
  51.                 #check_loop $PORT "$1"  
  52.         fi   
  53. }   
  54.    
Bash代码  技术分享
  1. # usage: check_once <port> <path>  
  2. # 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。  
  3. check_once()  
  4. {  
  5.         echo  
  6.         echo "$(date)  Tomcat check once"  
  7.         # 2008.08.21 -I/--head -s/--silent  
  8.         #if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/; then  
  9.         # 2010.02.16 add 200 OK test  
  10.         if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/$2 | grep -q ‘200 OK‘;  
  11.   
  12.   
  13.  then  
  14.                 echo "$(date)  Tomcat maybe OK"  
  15.         else  
  16.                 echo "$(date)  Tomcat maybe FAULT"  
  17.                 restart  
  18.         fi  
  19. }  
  20.   
  21. # usage: check_loop <port> <path>  
  22. # 每隔一分钟检查一次网页是否正常  
  23. check_loop()  
  24. {  
  25.         while true;  
  26.         do  
  27.                 sleep 60  
  28.                 check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log  
  29.         done  
  30. }  
  31.   
  32. # usage: monitor <path>  
  33. # 对path指定的本机网页进行监控  
  34. # 2008.06.26  
  35. # 2010.09.20 add path parameter  
  36. monitor()  
  37. {  
  38.         PORT=80  
  39.         if grep ‘Connector port="80"‘ $CATALINA_HOME/conf/server.xml; then  
  40.                 PORT=80  
  41.         elif grep ‘Connector port="8080"‘ $CATALINA_HOME/conf/server.xml; then  
  42.                 PORT=8080  
  43.         else  
  44.                 echo "Cannot detect server port for Tomcat"  
  45.                 return 12  
  46.         fi  
  47.         echo "Tomcat server port is $PORT"  
  48.   
  49.         if status; then  
  50.                 check_loop $PORT "$1" &  
  51.                 #check_loop $PORT "$1"  
  52.         fi  
  53. }  
  54.    

 

这个脚本的执行方式是 monitor <path>，比如monitor main/index.html。下面是执行时输出的日志信息片段。

 

2010年 10月 09日 星期六 15:20:38 CST  Tomcat check once 2010年 10月 09日 星期六 15:20:46 CST  Tomcat maybe OK
2010年 10月 09日 星期六 15:21:46 CST  Tomcat check once 2010年 10月 09日 星期六 15:21:57 CST  Tomcat maybe FAULT Tomcat is now running, not stopped: 0 Tomcat is now running, not stopped: 1 Tomcat is now running, not stopped: 2 Tomcat is now running, not stopped: 3 Tomcat is now running, not stopped: 4 Tomcat is now running, not stopped: 5 Tomcat is now running, not stopped: 6 Tomcat is now running, not stopped: 7 Tomcat is now running, not stopped: 8 Tomcat is now running, not stopped: 9 Tomcat killed use SIGKILL Tomcat stopped       Starting tomcat
2010年 10月 09日 星期六 15:23:09 CST  Tomcat check once 2010年 10月 09日 星期六 15:23:09 CST  Tomcat maybe OK
2010年 10月 09日 星期六 15:24:09 CST  Tomcat check once 2010年 10月 09日 星期六 15:24:09 CST  Tomcat maybe OK

 

示例四 另一个检查网页是否正常的脚本

 

Bash代码 技术分享 技术分享
  1. # 要检查的网页地址   
  2. URL="http://www.sunrisecorp.net/"  
  3.   
  4. # usage:    
  5. curlit()   
  6. {   
  7.         curl --connect-timeout 15 --max-time 30 --head --silent "$URL" | grep ‘HTTP/1.1 200 OK‘  
  8. }   
  9.   
  10. # 只有MIN_ALARM次访问失败时才告警   
  11. MIN_ALARM=10  
  12.   
  13. #    
  14. doit()   
  15. {   
  16.     echo "===== $(now) ====="  
  17.     if ! curlit; then   
  18.             echo "$(now)  bbdx nss access failed"  
  19.             N=1  
  20.             if [ -e curlit_error ]; then   
  21.                     N="$(cat curlit_error)"  
  22.                     N=$[N+1]   
  23.             fi   
  24.             echo "$(now)  N=$N"  
  25.             echo $N >curlit_error   
  26.             if [ "$N" == "$MIN_ALARM" ]; then   
  27.                     echo "$(now)  do notify"  
  28.                     touch curlit_error   
  29.                     notify_curlit_error   
  30.             fi   
  31.     else   
  32.             if [ -e curlit_error ]; then   
  33.                     echo "$(now)  recovered"  
  34.                     N=$(cat curlit_error)   
  35.                     echo "$(now)  N=$N"  
  36.                     rm -f curlit_error   
  37.                     if [ "$N" -ge "$MIN_ALARM" ]; then   
  38.                             notify_curlit_recovered   
  39.                     fi   
  40.             fi   
  41.     fi   
  42. }   
  43.   
  44. doit >>log/curlit.log 2>&1  
  45.    
Bash代码  技术分享
  1. # 要检查的网页地址  
  2. URL="http://www.sunrisecorp.net/"  
  3.   
  4. # usage:   
  5. curlit()  
  6. {  
  7.         curl --connect-timeout 15 --max-time 30 --head --silent "$URL" | grep ‘HTTP/1.1 200 OK‘  
  8. }  
  9.   
  10. # 只有MIN_ALARM次访问失败时才告警  
  11. MIN_ALARM=10  
  12.   
  13. #   
  14. doit()  
  15. {  
  16.     echo "===== $(now) ====="  
  17.     if ! curlit; then  
  18.             echo "$(now)  bbdx nss access failed"  
  19.             N=1  
  20.             if [ -e curlit_error ]; then  
  21.                     N="$(cat curlit_error)"  
  22.                     N=$[N+1]  
  23.             fi  
  24.             echo "$(now)  N=$N"  
  25.             echo $N >curlit_error  
  26.             if [ "$N" == "$MIN_ALARM" ]; then  
  27.                     echo "$(now)  do notify"  
  28.                     touch curlit_error  
  29.                     notify_curlit_error  
  30.             fi  
  31.     else  
  32.             if [ -e curlit_error ]; then  
  33.                     echo "$(now)  recovered"  
  34.                     N=$(cat curlit_error)  
  35.                     echo "$(now)  N=$N"  
  36.                     rm -f curlit_error  
  37.                     if [ "$N" -ge "$MIN_ALARM" ]; then  
  38.                             notify_curlit_recovered  
  39.                     fi  
  40.             fi  
  41.     fi  
  42. }  
  43.   
  44. doit >>log/curlit.log 2>&1  
  45.    

 

示例五 使用HttpPost上传数据

一个用于http post的脚本。

Bash代码 技术分享 技术分享
  1. #!/bin/sh   
  2.   
  3. MS=1350514xxxx   
  4.   
  5. TM=$(date +"%Y%m%d%H%M%S")   
  6. DT=$(date +"%Y%m%d")   
  7.   
  8. cat <<EOF >reqtmp.xml   
  9. <?xml version="1.0" encoding="GBK" ?>   
  10. <OwnPlatForm>   
  11.         <OrigDomain>QZT</OrigDomain>   
  12.         <HomeDomain>BOSS</HomeDomain>   
  13.         <ActivityCode>T5100001</ActivityCode>   
  14.         <ActionCode>0</ActionCode>   
  15.         <TransIDO>$TM</TransIDO>   
  16.         <TransIDH></TransIDH>   
  17.         <ProcessTime>$TM</ProcessTime>   
  18.         <CutOffDay>$DT</CutOffDay>   
  19.         <TestFlag>0</TestFlag>   
  20.         <Content>   
  21.                 <![CDATA[   
  22.                         <BizProcReq>   
  23.                                 <IDType>01</IDType>   
  24.                                 <IDValue>$MS</IDValue>   
  25.                                 <UserCity>14</UserCity>   
  26.                                 <UserCounty>1419</UserCounty>   
  27.                                 <OprCode>01</OprCode>   
  28.                                 <BizType>51</BizType>   
  29.                                 <OprTime>$TM</OprTime>   
  30.                                 <OprSrc>27</OprSrc>   
  31.                                 <ProductInfo>   
  32.                                         <PrdCode>510001</PrdCode>   
  33.                                 </ProductInfo>   
  34.                         </BizProcReq>   
  35.                 ]]>   
  36.         </Content>   
  37. </OwnPlatForm>   
  38. EOF   
  39.   
  40. cat reqtmp.xml   
  41.   
  42.   
  43. URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT"  
  44.   
  45. curl --verbose --upload-file reqtmp.xml  --header "Content-Type: text/xml" "$URL" --output rsptmp.xml   
  46.   
  47. cat rsptmp.xml  
Bash代码  技术分享
  1. #!/bin/sh  
  2.   
  3. MS=1350514xxxx  
  4.   
  5. TM=$(date +"%Y%m%d%H%M%S")  
  6. DT=$(date +"%Y%m%d")  
  7.   
  8. cat <<EOF >reqtmp.xml  
  9. <?xml version="1.0" encoding="GBK" ?>  
  10. <OwnPlatForm>  
  11.         <OrigDomain>QZT</OrigDomain>  
  12.         <HomeDomain>BOSS</HomeDomain>  
  13.         <ActivityCode>T5100001</ActivityCode>  
  14.         <ActionCode>0</ActionCode>  
  15.         <TransIDO>$TM</TransIDO>  
  16.         <TransIDH></TransIDH>  
  17.         <ProcessTime>$TM</ProcessTime>  
  18.         <CutOffDay>$DT</CutOffDay>  
  19.         <TestFlag>0</TestFlag>  
  20.         <Content>  
  21.                 <![CDATA[  
  22.                         <BizProcReq>  
  23.                                 <IDType>01</IDType>  
  24.                                 <IDValue>$MS</IDValue>  
  25.                                 <UserCity>14</UserCity>  
  26.                                 <UserCounty>1419</UserCounty>  
  27.                                 <OprCode>01</OprCode>  
  28.                                 <BizType>51</BizType>  
  29.                                 <OprTime>$TM</OprTime>  
  30.                                 <OprSrc>27</OprSrc>  
  31.                                 <ProductInfo>  
  32.                                         <PrdCode>510001</PrdCode>  
  33.                                 </ProductInfo>  
  34.                         </BizProcReq>  
  35.                 ]]>  
  36.         </Content>  
  37. </OwnPlatForm>  
  38. EOF  
  39.   
  40. cat reqtmp.xml  
  41.   
  42.   
  43. URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT"  
  44.   
  45. curl --verbose --upload-file reqtmp.xml  --header "Content-Type: text/xml" "$URL" --output rsptmp.xml  
  46.   
  47. cat rsptmp.xml  

 

示例六 使用proxy的脚本

Bash代码 技术分享 技术分享
  1. # usage: do_sync_once <mobile> <codes> <area_id> <opening>   
  2. do_sync_once()   
  3. {   
  4.         mobile=$1  
  5.         codes=$2  
  6.         area_id=$3  
  7.         opening=$4     
  8.            
  9.   
  10.   
  11. curl --silent --max-time 60 --proxy http://10.32.187.170:8080 "http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening"  
  12.   
  13. }  
Bash代码  技术分享
  1. # usage: do_sync_once <mobile> <codes> <area_id> <opening>  
  2. do_sync_once()  
  3. {  
  4.         mobile=$1  
  5.         codes=$2  
  6.         area_id=$3  
  7.         opening=$4    
  8.           
  9.   
  10.   
  11. curl --silent --max-time 60 --proxy http://10.32.187.170:8080 "http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening"  
  12.   
  13. }  

 

示例七 使用Google AJAX Search API进行搜索

Bash代码 技术分享 技术分享
  1. # usage: google_search <STR>   
  2. # Google搜索   
  3. google_search()   
  4. {   
  5.         REF="http://codingstandards.iteye.com/"  
  6.         KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g"  
  7.         STR="$1"  
  8.         # 采用网页搜索   
  9.         curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null   
  10.         # 采用博客搜索   
  11.         #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null   
  12.         #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null   
  13.         #curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null   
  14. }  
Bash代码  技术分享
  1. # usage: google_search <STR>  
  2. # Google搜索  
  3. google_search()  
  4. {  
  5.         REF="http://codingstandards.iteye.com/"  
  6.         KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g"  
  7.         STR="$1"  
  8.         # 采用网页搜索  
  9.         curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null  
  10.         # 采用博客搜索  
  11.         #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null  
  12.         #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null  
  13.         #curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null  
  14. }

Linux之curl命令详解

标签：

原文地址：http://www.cnblogs.com/dim2046/p/5913701.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！