HTTP详解

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。

   HTTP协议的主要特点可概括如下：

 

简单：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的不同类型。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

请求-响应模式：客户端每次向服务器发起一个请求时都建立一个连j接， 服务器处理完客户的请求即断开连接。

无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。 

     推荐使用Fiddler来学习http协议和分析每次http请求/响应的格式。

一、HTTP协议详解之URL篇

 

    http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。

 

    HTTP URL (URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息)的格式如下：

 

1

http://host[":"port][path]

其中，http表示要通过HTTP协议来定位网络资源；host表示合法的Internet主机域名或者IP地址；port指定一个端口号，若空则使用缺省的80端口；path指定请求资源的URI；如果URL中没有给出path，那么当它作为请求URI时，必须以“/”的形式给出，但通常浏览器会帮我们完成这个工作。比如在浏览器地址栏 输入： www.guet.edu.cn，  浏览器自动换成  http://www.guet.edu.cn/ 

 

 

二、HTTP协议详解之请求篇

 

    http请求由三部分组成，分别是：请求行、消息报头、请求正文

 

1)  请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：

 

1

Method Request-URI HTTP-Version CRLF

其中, EMethod表示请求方法，一般为GET, POST, PUT, DELET；Request-URI是一个统一资源标识符， 例如/index.jsp；HTTP-Version表示请求的HTTP协议版本, 比如HTTP/1.1；CRLF表示回车和换行符（除了作为结尾的CRLF外，不允许出现单独的CR或LF字符）。

    请求方法除了上述提到的GET, POST, PUT, DELETE外，还有TRACE, CONNECT,OPTIONS，其各个方法的解释如下：

 

1

GET          请求获取Request-URI所标识的资源

2

POST         在Request-URI所标识的资源后附加新的数据

3

HEAD         请求获取由Request-URI所标识的资源的响应消息报头

4

PUT          请求服务器存储一个资源，并用Request-URI作为其标识

5

DELETE       请求服务器删除Request-URI所标识的资源

6

TRACE        请求服务器回送收到的请求信息，主要用于测试或诊断

7

CONNECT      保留将来使用

8

OPTIONS      请求查询服务器的性能，或者查询与资源相关的选项和需求

 

应用举例： 

在浏览器的地址栏中输入网址的方式访问网页时，浏览器采用GET方法向服务器获取资源

 POST方法要求被请求服务器接受附在请求后面的数据，常用于提交表单。一个典型的POST请求格式如下：

1

POST /reg.jsp HTTP/ (CRLF)                 //这行是请求行

2

Accept:image/gif,image/x-xbit,... (CRLF)

3

...

4

HOST:www.guet.edu.cn (CRLF)

5

Content-Length:22 (CRLF)

6

Connection:Keep-Alive (CRLF)

7

Cache-Control:no-cache (CRLF)

8

(CRLF)                                     //该CRLF表示消息报头已经结束，在此之前为消息报头

9

user=jeffrey&pwd=1234                      //此行及以下为提交的数据

HEAD方法与GET方法的请求/响应格式几乎是一样的， 因此常利用HEAD请求方法测试资源的有效性，比如是否可以访问，以及最近是否更新过等。

 

 

三、HTTP协议详解之响应篇

 

     一般情况下，服务器接收并处理客户端发过来的请求后会返回一个HTTP的响应消息。

 

    HTTP的响应消息也是由三个部分组成，分别是：状态行、消息报头、响应正文

1) 状态行格式如下：

 

1

HTTP-Version Status-Code Reason-Phrase (CRLF)

 其中，HTTP-Version表示服务器HTTP协议的版本, 例如HTTP/1.1；Status-Code表示服务器发回的响应状态代码, 例如200；Reason-Phrase表示状态代码的文本描述，例如OK。一个典型的响应消息状态行：

 

1

HTTP/1.1 200 OK

状态代码有三位数字组成，第一个数字定义了响应的类别，共分五种类别:

1xx：指示信息--表示请求已接收，继续处理

2xx：成功--表示请求已被成功接收、理解、接受

3xx：重定向--要完成请求必须进行更进一步的操作

4xx：客户端错误--请求有语法错误或请求无法实现

 

5xx：服务器端错误--服务器未能实现合法的请求

 

常见状态代码、状态描述、说明：

 

200 OK                          //客户端请求成功

400 Bad Request             //客户端请求有语法错误，不能被服务器所理解

401 Unauthorized             //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用 

403 Forbidden                 //服务器收到请求，但是拒绝提供服务

404 Not Found                //请求资源不存在，eg：输入了错误的URL

500 Internal Server Error  //服务器发生不可预期的错误

503 Server Unavailable     //服务器当前不能处理客户端的请求，一段时间后可能恢复正常

 

更多http响应码的说明，请参考 http://zh.wikipedia.org/zh/HTTP%E7%8A%B6%E6%80%81%E7%A0%81

 

 

 

四、HTTP协议详解之消息报头篇

 

     不管是请求消息还是响应消息，都由开始行（对于请求消息，开始行就是请求行，对于响应消息，开始行就是状态行），消息报头，空行（只有CRLF的行），消息正文组成。HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。每一个报头域都是由名字+":"+值 组成，消息报头域的名字是大小写无关的, 域值前可以有任意个空格（但通常会在前面添加一个空格）,可以允许多个相同的消息包头。

 

1）普通报头

      普通报头中包含请求消息和响应消息都支持的头域，有Cache-Control、Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。下面简对此作简单的介绍。

 

Cache-Control: 用于指定缓存指令。缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制），HTTP1.0使用的类似的报头域为Pragma。请求时， Cache-Control的取值包括：no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、max-stale、min-fresh、only-if-cached;  响应时， Cache-Control的取值包括 ：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage. 而各种Cache-Control的取值含义如下：

1

public　　　　　 指示响应可被任何缓存区缓存。

2

Private        指示对于单个用户的整个或部分响应消息，不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息，此响应消息对于其他用户的请求无效。

3

no-cache       指示请求或响应消息不能缓存

4

no-store       用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。

5

max-age        指示客户机可以接收生存期不大于指定时间（以秒为单位）的响应。

6

min-fresh      指示客户机可以接收响应时间小于当前时间加上指定时间的响应。

7

max-stale      指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值，那么客户机可以接收超出超时期指定值之内的响应消息。

举例： 为了指示IE浏览器（客户端）不要缓存页面，服务器端的JSP页面可以编写如下：

 

1

response.setHeader("Cache-Control","no-cache");

 这句代码将在发送的响应消息中设置普通报头域：Cache-Control:no-cache

Date：表示消息产生的日期和时间, 例如 Date:Mon,31Dec200104:25:57GMT

Connection:  允许发送指定连接的选项。例如指定连接是连续，或者指定“close”选项，通知服务器，在响应完成后，关闭连接

Pragma：用来包含实现特定的指令，最常用的是Pragma:no-cache。在HTTP/1.1协议中，它的含义和Cache-Control:no-cache相同。

2） 请求报头

        请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。常用的请求报头有：

 

Accept：用于指定客户端接受哪些类型的响应信息。比如Accept：image/gif，表明客户端希望接受GIF图象格式的资源；而Accept：text/html，表明客户端希望接受html文本; Accept: image/gif,text/html，表明客户希望接受gif图像或html文本

Accept-Charset：用于指定客户端接受的字符集。比如Accept-Charset:ISO-8859-1,GB2312， 表示客户端希望返回的文本字符集是ISO-8859-1或GB2312。如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。

 Accept-Encoding:  用于指定可接受的内容编码。比如Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域，服务器假定客户端对各种内容编码都可以接受。

 Accept-Language:用于指定一种自然语言。比如Accept-Language:zh-CN, 表示接受中国汉语.如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。

 Authorization: 用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含Authorization的请求报头域的请求，要求服务器对其进行验证。

 Host：主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP的URL中提取出来。比如我们浏览器中输入：http://www.guet.edu.cn/index.html. 浏览器会把Host请求报头域加上，该域值为www.guet.edu.cn。 此处使用缺省端口号80，若指定了端口号，则变成：Host：www.guet.edu.cn:指定端口号

User-Agent：我们上网登陆论坛的时候，往往会看到一些欢迎信息，可能会列出了你当前的操作系统名称和版本，你当前所使用的浏览器名称和版本。这往往让很多人感到很神奇。实际上，服务器应用程序就是从User-Agent这个请求报头域中获取这些信息。User-Agent请求报头域允许客户端将它的操作系统、浏览器和其它属性告诉浏览器。不过，这个报头域不是必需的，如果我们自己编写一个浏览器，不使用User-Agent请求报头域，那么服务器端就无法得知我们的信息了。但通常浏览器都会带上这个请求包头域

一个典型的请求包头如下：

 

01

GET /form.html HTTP/1.1 (CRLF)

02

Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)

03

Accept-Language:zh-cn (CRLF)

04

Accept-Encoding:gzip,deflate (CRLF)

05

If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)

06

If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)

07

User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)

08

Host:www.guet.edu.cn (CRLF)

09

Connection:Keep-Alive (CRLF)

10

(CRLF)

 

3) 响应报头

    响应报头允许服务器传递的附加响应信息，以及关于服务器的状态信息以及对Request-URI所标识的资源进行下一步访问的信息。常用的响应报头有: 

 

Location: 用于提示客户端重定向到一个新的位置。Location响应报头域常用在更换域名的时候。

Server： 包含了服务器用来处理请求的软件信息。比如Server: Play! Framework; 1.2.3; prod， 表示处理本次请求的应用程序是一个用Play ! Framework 1.2.3搭建的应用服务程序，该程序处于生产模式.

Connection: 

Proxy-Connection: 

Set-Cookie:  cookie信息

  

4)  实体报头

        请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成，但并不是说实体报头域和实体正文要在一起发送，可以只发送实体报头域。实体报头定义了关于实体正文（例如有无实体正文）和请求所标识的资源的元信息。常用的实体报头有：

 

 Content-Encoding：用于记录文档的压缩方法。比如 Content-Encoding：gzip

 Content-Language： 描述了资源所用的自然语言。ru没有设置该域， 则认为实体内容将提供给所有的语言阅读

 Content-Length:  用于指明实体正文的长度，单位字节, 十进制数表示

Content-Type: 指明发送给接收者的实体正文的媒体类型，比如Content-Type:text/html;charset=ISO-8859-1， 表示正文是一个html文档，采用ISO-8859-1编码

 Last-Modified: 用于指示资源的最后修改日期和时间。

 Expires: 给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新缓存中(再次访问曾访问过的页面时，直接从缓存中加载，缩短响应时间和降低服务器负载)的页面，我们可以使用Expires指定页面过期的时间。比如Expires：Thu，15 Sep 2006 16:23:12 GMT

HTTP1.1的客户端和缓存必须将其他非法的日期格式（包括0）看作已经过期。例如，为了让浏览器不要缓存页面，我们可以将Expires设为0，jsp中程序如下：response.setDateHeader("Expires","0");

 五、利用telnet观察http协议的通讯过程

 

    实验目的及原理：

    利用MS的telnet工具，通过手动输入http请求信息的方式，向服务器发出请求，服务器接收、解释和接受请求后，会返回一个响应，该响应会在telnet窗口上显示出来，从而从感性上加深对http协议的通讯过程的认识。

 

    实验步骤：

 

1、打开telnet

1.1 打开telnet

运行-->cmd-->telnet

 

1.2 打开telnet回显功能

set localecho

 

2、连接服务器并发送请求

2.1 open www.guet.edu.cn 80  //注意端口号不能省略

 

    HEAD /index.asp HTTP/1.0

    Host:www.guet.edu.cn

    

   /*我们可以变换请求方法,请求桂林电子主页内容,输入消息如下*/

    open www.guet.edu.cn 80 

   

    GET /index.asp HTTP/1.0  //请求资源的内容

    Host:www.guet.edu.cn  

 

2.2 open www.sina.com.cn 80  //在命令提示符号下直接输入telnet www.sina.com.cn 80

    HEAD /index.asp HTTP/1.0

    Host:www.sina.com.cn

 

 

3 实验结果：

 

3.1 请求信息2.1得到的响应是:

 

HTTP/1.1 200 OK                                              //请求成功

Server: Microsoft-IIS/5.0                                    //web服务器

Date: Thu,08 Mar 200707:17:51 GMT

Connection: Keep-Alive                                 

Content-Length: 23330

Content-Type: text/html

Expries: Thu,08 Mar 2007 07:16:51 GMT

Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/

Cache-control: private

 

//资源内容省略

 

3.2 请求信息2.2得到的响应是:

 

HTTP/1.0 404 Not Found       //请求失败

Date: Thu, 08 Mar 2007 07:50:50 GMT

Server: Apache/2.0.54

Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT

ETag: "6277a-415-e7c76980"

Accept-Ranges: bytes

X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix

Vary: Accept-Encoding

Content-Type: text/html

X-Cache: MISS from zjm152-78.sina.com.cn

Via: 1.0 zjm152-78.sina.com.cn:80

X-Cache: MISS from th-143.sina.com.cn

Connection: close

 

 

失去了跟主机的连接

 

按任意键继续...

 

4 .注意事项：1、出现输入错误，则请求不会成功。

          2、报头域不分大小写。

          3、更深一步了解HTTP协议，可以查看RFC2616，在http://www.letf.org/rfc上找到该文件。

          4、开发后台程序必须掌握http协议

 

六、HTTP协议相关技术补充

 

    1、基础：

    高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等

中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)，一个代理根据URI的绝对格式来接受请求，重写全部或部分消息，通过 URI的标识把已格式化过的请求发送到服务器。网关是一个接收代理，作为一些其它服务器的上层，并且如果必须的话，可以把请求翻译给下层的服务器协议。一 个通道作为不改变消息的两个连接之间的中继点。当通讯需要通过一个中介(例如：防火墙等)或者是中介不能识别消息的内容时，通道经常被使用。

     代理(Proxy)：一个中间程序，它可以充当一个服务器，也可以充当一个客户机，为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的 服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。代理经常作为通过防火墙的客户机端的门户，代理还可以作为一个帮助应用来通过协议处 理没有被用户代理完成的请求。

网关(Gateway)：一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。

网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。

       通道(Tunnel)：是作为两个连接中继的中介程序。一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继 的连接两端关闭时，通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。

 

2、协议分析的优势—HTTP分析器检测网络攻击

以模块化的方式对高层协议进行分析处理，将是未来入侵检测的方向。

HTTP及其代理的常用端口80、3128和8080在network部分用port标签进行了规定

 

3、HTTP协议Content Lenth限制漏洞导致拒绝服务攻击

使用POST方法时，可以设置ContentLenth来定义需要传送的数据长度，例如ContentLenth:999999999，在传送完成前，内 存不会释放，攻击者可以利用这个缺陷，连续向WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。

http://www.cnpaf.net/Class/HTTP/0532918532667330.html

 

4、利用HTTP协议的特性进行拒绝服务攻击的一些构思

服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求（毕竟客户端的正常请求比率非常之小），此时从正常客户的角度看来，服务器失去响应，这种情况我们称作：服务器端受到了SYNFlood攻击（SYN洪水攻击）。

而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。

19端口在早期已经有人用来做Chargen攻击了，即Chargen_Denial_of_Service，但是！他们用的方法是在两台Chargen 服务器之间产生UDP连接，让服务器处理过多信息而DOWN掉，那么，干掉一台WEB服务器的条件就必须有2个：1.有Chargen服务2.有HTTP 服务

方法：攻击者伪造源IP给N台Chargen发送连接请求（Connect），Chargen接收到连接后就会返回每秒72字节的字符流（实际上根据网络实际情况，这个速度更快）给服务器。

 

5、Http指纹识别技术

   Http指纹识别的原理大致上也是相同的：记录不同服务器对Http协议执行中的微小差别进行识别.Http指纹识别比TCP/IP堆栈指纹识别复杂许 多,理由是定制Http服务器的配置文件、增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难；然而定制TCP/IP堆栈的行为 需要对核心层进行修改,所以就容易识别.

      要让服务器返回不同的Banner信息的设置是很简单的,象Apache这样的开放源代码的Http服务器,用户可以在源代码里修改Banner信息,然 后重起Http服务就生效了；对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修 改,相关的文章有讨论的,这里不再赘述,当然这样的修改的效果还是不错的.另外一种模糊Banner信息的方法是使用插件。

常用测试请求：

1：HEAD/Http/1.0发送基本的Http请求

2：DELETE/Http/1.0发送那些不被允许的请求,比如Delete请求

3：GET/Http/3.0发送一个非法版本的Http协议请求

4：GET/JUNK/1.0发送一个不正确规格的Http协议请求

Http指纹识别工具Httprint,它通过运用统计学原理,组合模糊的逻辑学技术,能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。

 

6、其他：为了提高用户使用浏览器时的性能，现代浏览器还支持并发的访问方式，浏览一个网页时同时建立多个连接，以迅速获得一个网页上的多个图标，这样能更快速完成整个网页的传输。

HTTP1.1中提供了这种持续连接的方式，而下一代HTTP协议：HTTP-NG更增加了有关会话控制、丰富的内容协商等方式的支持，来提供

更高效率的连接。