版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端,
然后读取服务器端的响应资源。在Python中,我们使用urllib2...
分类:
编程语言 时间:
2014-05-27 00:12:25
阅读次数:
323
url: 要求为String类型的参数,(默认为当前页地址)发送请求的地址。type:
要求为String类型的参数,请求方式(post或get)默认为get。注意其他http请求方法,例如put和
delete也可以使用,但仅部分浏览器支持。timeout: 要求为Number类型的参数,设置请求...
分类:
Web程序 时间:
2014-05-26 22:51:39
阅读次数:
374
在之前的ASP.NET是如何在IIS下工作的这篇文章中介绍了ASP.NET与IIS配合工作的机制,在http请求经过一系列处理后,最后到达ASP.NET管道中,这时,就是Http
Modules和HttpHandler出场的时候了。 再来摆出管道工作时序图来一看:HttpModuleHttpMod....
分类:
Web程序 时间:
2014-05-26 20:45:04
阅读次数:
416
ajax()方法是JQuery实现AJAX的底层方法。也就是说他是get(),post()方法的基础。使用该方法就可以完成通过http请求加载远程数据。ajax()方法的参数比较复杂。下面贴出他所含的参数。当然有些是可选的,在你运用ajax的时候,只要赋值给你需要用到的参数就可以了。
分类:
Web程序 时间:
2014-05-26 07:33:28
阅读次数:
360
通用搜索引擎的处理对象是互联网网页,目前网页数量以百亿计,搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地,在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。
1. 网络爬虫本质就是浏览器http请求。
浏览器和网络爬虫是两种不同的网络客户端,都以相同的方式来获取网页:
1)首先, 客户端程序连接到域名系统...
分类:
其他好文 时间:
2014-05-26 05:26:52
阅读次数:
358
原文地址:Specify a character set概况:
在HTML文档的响应头中指定一个字符集可以让浏览器立即开始解析HTML和执行脚本。细节:
HTML文档在网络中是以伴随字符编码信息的字节序列形式传送的。字符编码信息可以指定在文档的HTTP请求头中,也可以在HTML里面的标记里面...
分类:
其他好文 时间:
2014-05-26 00:34:31
阅读次数:
279
编写一个简易的HTTP代理服务器,步骤其实很简单:
1.设置一个监听套接字gListen_Socket;
2.每当接受到客户端的请求之后,我们构建一个新的线程来继续监听客户端的请求,然后原线程处理用户请求;
3.先从用户发送的HTTP请求中解析出服务器端的主机地址,然后通过另外一个线程连接到服务器;
4.本程序充当中介,不断转发来自两端的消息;...
分类:
其他好文 时间:
2014-05-24 23:43:47
阅读次数:
534
异步使用 HTTP
到现在,我们所关注的还只是通过 HTTP 一次检索一个文档,或进行一次更新,在这种情况下,使用异步编程模式就没什么意义了。然而,我们通常的想法是一次能进行多个 HTTP 请求,这样,就可以从多个源检索、汇总数据,在这种情况下,使用 F# 的异步工作流,我们第一次碰到是在第十章“异步编程”一节,就能极大提高应用程序的性能。事实上,我们可能还希望能得到比使用本地磁盘更高的性...
分类:
其他好文 时间:
2014-05-24 21:02:10
阅读次数:
313
原理
这个漏洞实际上非常简单,ElasticSearch有脚本执行(scripting)的功能,可以很方便地对查询出来的数据再加工处理。
ElasticSearch用的脚本引擎是MVEL,这个引擎没有做任何的防护,或者沙盒包装,所以直接可以执行任意代码。
而在ElasticSearch里,默认配置是打开动态脚本功能的,因此用户可以直接通过http请求,执行任意代码。
其实官方是清楚这个漏洞...
分类:
其他好文 时间:
2014-05-24 18:04:15
阅读次数:
223
使用 HTTP
Web 使用超文本传输协议(Hypertext Transfer Protocol,HTTP)通信,通常用 web 浏览器,但是,出于某些原因,也可能想用脚本或程序中发出 web 请求,例如,通过 RSS 或 Atom feeds 收集站点内容。
生成 HTTP 请求,需要用 System.Net.WebRequest 类的静态方法 Create。它创建 WebRequ...
分类:
其他好文 时间:
2014-05-22 23:02:45
阅读次数:
307