crawler_http关闭连接

标签：

1：ps aux|grep Spider4Test.jar

查看端口 

2： lsof  -p [端口号]

在爬虫运行期间如果看到 大量的 TIME_WAIT  WAIT_CLOSE 说明请求关闭阻塞【采用httpclient默认方法 ，其实没有关闭掉，需要跑等3分钟 才会关闭】 大量并发时   会有阻塞

3： 解决方法

最简单方法【方法四： 
代码实现很简单，所有代码就和最上面的事例代码一样。只需要在HttpMethod method = new GetMethod("http://www.apache.org");加上一行HTTP头的设置即可 

】

其它方法：参考

http://www.cnblogs.com/wasp520/archive/2012/07/06/2580101.html

备注：

TCP状态转移要点
TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不 会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得 注意的状态有两个：CLOSE_WAIT和TIME_WAIT。  

1、LISTENING状态
FTP服务启动后首先处于侦听（LISTENING）状态。

　 　SYN_SENT状态表示请求连接，当你要访问其它的计算机的服务时首先要发个同步信号给该端口，此时状态为SYN_SENT，如果连接成功了就变为 ESTABLISHED，此时SYN_SENT状态非常短暂。但如果发现SYN_SENT非常多且在向不同的机器发出，那你的机器可能中了冲击波或震荡波 之类的病毒了。这类病毒为了感染别的计算机，它就要扫描别的计算机，在扫描的过程中对每个要扫描的计算机都要发出了同步请求，这也是出现许多 SYN_SENT的原因。

crawler_http关闭连接

标签：

原文地址：http://www.cnblogs.com/cphmvp/p/4650920.html