码迷,mamicode.com
首页 > 编程语言 > 详细

Python socket模拟HTTP请求

时间:2015-08-04 20:53:25      阅读:339      评论:0      收藏:0      [点我收藏+]

标签:

0x00 起

最近在做一个对时间要求比较高的扫描器,需要封装一下SOCKET模拟HTTP发包的一些常用函数。简单的说,就是重写一下requests中的get、post方法。

今天在写的时候,遇到一枚很奇怪的问题,对同一个URL,POST请求能正常返回信息,而一旦切到GET,socket time out。

伪代码如下:

get_str = GET %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\nAccept: */*\r\n\r\n
post_str = POST %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36\r\n\r\n%s\r\n\r\n


def get(url,port):
    sock = socket.connect(url,port)
    sock.send(get_str % (url, port))    
    
    response = ‘‘    
    temp = sock.recv(4096)
    while temp:
        temp = sock.recv(4096)
        response += temp

    return response 

0x10 结

心烦意乱的调了很久无果,出去吃了个饭,回来查查资料,从头开始顺了一遍,找到了bug点。原因是HTTP 1.1协议中,默认connection: keep-alive。

Connection: keep-alive   当一个网页打开完成后,客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭,如果客户端再次访问这个服务器上的网页,会继续使用这一条已经建立的连接

Connection: close  代表一个Request完成后,客户端和服务器之间用于传输HTTP数据的TCP连接会关闭, 当客户端再次发送Request,需要重新建立TCP连接。

 

而python中的sock.recv如果接收不到数据,会等到TCP连接down掉,才会返回NULL。如果在程序中没有设置超时时间,会等到服务器主动断开连接,一般是30s~60s。

这就是造成socket timeout的原因。在http request里添加connection: close即可解决问题。但是为什么只有get受到影响,post却没有问题呢?

 

做了个简单的测试:

post 很快就返回了结果:

技术分享

而get用了很久才返回结果,其中connection为keep-alive:

技术分享

 

所以,之前所说的HTTP 1.1协议中,所有的请求都默认为Connection: keep-alive是错误的认识。

只有get请求会默认采取Connection: keep-alive

 

 

参考资料:

https://www.byvoid.com/blog/http-keep-alive-header

Python socket模拟HTTP请求

标签:

原文地址:http://www.cnblogs.com/kuoaidebb/p/4703015.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!