网页内容的解析可以说是爬虫最主要和最核心的工作，从一堆看似杂乱的代码中获取我们需要的信息，这就是爬虫的本质。python对于网页解析提供了很多的方式，传统的即通过urllib2包获取网页代码，再通过re正则表达式模块自己写规则来获取信息。第三方的包也有，类似pyquery、lxml、Beautifu...
分类：
其他好文 时间：
2015-02-15 18:03:18
阅读次数：
270
curl函数库实现爬网页内容的链接在http://www.cnblogs.com/linguanh/p/4292316.html下面这个是没有name和id 标识的这种类型，在填写完信息后，我们一般需要点一个按钮去触发提交事件。我之前介绍的用curl去获取网页cookie 的文章中 出现过的一个 变...
分类：
Web程序 时间：
2015-02-15 01:00:03
阅读次数：
242
由于近段时间帮朋友开发一个能够查询正方教务系统的微信公众平台号。有所收获。这里总结下个人经验。开讲前，先吐槽一下新浪云服务器，一个程序里的 同一个函数 在PC测试可以正常运行，在它那里就会挂的现象。老样子，我将在代码里注释清楚。使用下面的函数，将会获得两种形式的 cookie，一种保存在文件中，一....
分类：
Web程序 时间：
2015-02-15 00:57:09
阅读次数：
258
禁止搜索引擎收录的方法（robots.txt）一、什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自己主动訪问互联网上的网页并获取网页信息。您能够在您的站点中创建一个纯文本文件robots.txt，在这个文件里声明该站点中不想被robot訪问的部分，这样，该站点的...
分类：
其他好文 时间：
2015-02-07 18:39:00
阅读次数：
132
function getInfo() { var s = ""; s += " 网页可见区域宽："+ document.body.clientWidth; s += " 网页可见区域高："+ document.body.clientHeight; ...
分类：
Web程序 时间：
2015-02-06 12:50:52
阅读次数：
117
做采集的时候，可以使用file_get_contents()去获取网页源代码，但是使用file_get_contents采集，速度慢，而且超时时间，不好控制。如果采集的页面不存在，需要等待的时间很长。一般来说，curl的速度最快，其次是socket，最后是file_get_contents。现在跟大...
分类：
Web程序 时间：
2015-02-04 10:41:06
阅读次数：
159
Jquery获取网页的宽度、高度网页可见区域宽： document.body.clientWidth网页可见区域高： document.body.clientHeight网页可见区域宽： document.body.offsetWidth (包括边线的宽)网页可见区域高： document.body...
分类：
Web程序 时间：
2015-02-02 19:37:02
阅读次数：
121
对于一个经过Gzip压缩的网页，如果网页直接用浏览器打开，当然没什么问题，因为浏览器会自动的替您解压，当然这个时候，你查看网页源代码，看到的应该是正常的html代码。
可是如果使用HttpWebResponse来获取网页内容的时候，就比较麻烦，因为，你首先获取到的是一个回应流，当然，对于网页来说，本质上是个文本内容，所以要使用StreamReader来读取，当然这个时候需要将网页的编码格式给扔进...
分类：
其他好文 时间：
2015-01-28 19:51:12
阅读次数：
265
该文章主要是通过C#网络编程的webBrowser获取网页中的url并简单的尝试瞎子啊网页中的图片,主要是为以后网络开发的基础学习.其中主要的通过应用程序结合网页知识、正则表达式实现浏览、获取url、下载图片三个功能.而且很清晰的解析了每一步都是以前一步为基础实现的.一.界面设计界面设计如下图所示,...
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2015-01-13 15:50:17
阅读次数：
216
