一,利用网络爬虫来下载韩寒博客文章,主要需要用到以下知识要点:1,简要了解HTML标记语言,熟悉HTTP协议,发现HTML规律2,熟悉urllib模块3,熟悉python在此我利用的是ie8的开发者工具,当然也可以使用比较出名的firebug,这是火狐的一个插件,十分好用。中心思想:获取URL链..
分类:
编程语言 时间:
2014-10-23 06:57:58
阅读次数:
333
历史介绍
大多Web应用程序,都是运行在HTTP上的。HTTP协议是一系列无状态的文本传输协议。无状态的协议不记录收到的多个请求之间的关系,也就是说服务器与相应客户端如何对应起来,是一个问题。此外,HTTP是基于文本的。如何将基于文本的技术与强类型的Java匹配起来,这需要大量的数据绑定工作。
HTTP协议原本就不是为了满足Web应用程序开发人员的需求而设计的,它们是为请求和处理静态HTML文档而设计的。
Java Servlet API能够解决这些问题,Servlet通过一套面向对象的抽象直接封装客...
分类:
编程语言 时间:
2014-10-22 22:03:43
阅读次数:
256
我们在讲解Socket编程前,先看几个和Socket编程紧密相关的概念: TCP/IP层次模型 当然这里我们只讨论重要的四层 01,应用层(Application):应用层是个很广泛的概念,有一些基本相同的系统级TCP/IP应用以及应用协议,也有许多的企业应用和互联网应用。http协议在应用层运行。...
ASP.NET站点中做负载均衡:基于HTTP协议我们可能发现我们要解决两点问题:第一做到负载均衡,我们需要一个负载均衡器。可以通过DNS轮询来做,在DNS服务器上配置为每次对我们做负载均衡的同一主机名的DNS查询得到不同的IP地址。这样的好处是配置简单投入较小,缺点是浏览器访问各个服务器的机会是均等...
分类:
Web程序 时间:
2014-10-22 12:19:17
阅读次数:
209
项目中的需要发送SOAP消息来进行一些操作。由于SOAP协议是构建在HTTP协议之上的,因此通过发送HTTP请求也可以解决此问题。此外,项目中还需要考虑对SSL协议的支持。方法一:利用SOAP::Lite(perl的第三方库)来实现 use SOAP::Lite; my $proxy='http.....
分类:
其他好文 时间:
2014-10-21 19:22:03
阅读次数:
189
在windows下的C++通过Http协议实现对网页的内容抓取:
首先介绍下两个重要的包(一般是在linux下的开源数据包,在windows下则调用其动态链接库dll):curl包和pthreads_dll,其中curl包解释为命令行浏览器,通过调用内置的curl_easy_setopt等函数即可实现特定的网页内容获取(正确的编译导入的curl链接库,还需要另外一个包C-ares)。pt...
分类:
Web程序 时间:
2014-10-21 15:34:13
阅读次数:
273
一、HTTP协议的简单介绍 HTTP是Web协议集中的重要协议, 它是从客户机/服务器模型发展起来的。客户机/服务器是运行一对相互通信的程序,客户与服务器链接时,首先要向服务器发送请求, 服务器根据客户的请求, 完...
分类:
Web程序 时间:
2014-10-21 12:28:42
阅读次数:
216
HttpServletRequest对象代表客户端的请求,当客户端通过HTTP协议访问服务器时,HTTP请求头中的所有信息都封装在这个对象中,开发人员通过这个对象的方法,可以获得客户这些信息。request常用方法获得客户机信息getRequestURL方法返回客户端发出请求时的完整URL。getR...
分类:
Web程序 时间:
2014-10-21 12:00:57
阅读次数:
150