一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
编程语言 时间：
2014-05-27 00:15:52
阅读次数：
328
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，
然后读取服务器端的响应资源。在Python中，我们使用urllib2...
分类：
编程语言 时间：
2014-05-27 00:12:25
阅读次数：
323
在开始后面的内容之前，先来解释一下urllib2中的两个个方法：info and
geturlurlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl()：这个返回获取的真实的URL，这个很有用，因为urlopen(或...
分类：
编程语言 时间：
2014-05-26 23:17:30
阅读次数：
352
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的Python
APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类，通常在特定HTTP
URLs中产生。1.URLError...
分类：
编程语言 时间：
2014-05-26 23:17:09
阅读次数：
341
创建表时，必须为表的各个列指定数据类型。如果实际的数据与该列的数据类型不相匹配，则数据库会拒绝保存。如为学生指定出生日期为“1980-13-31”。
在Oracle中，常见的数据类型有： 字符串：字符串分为定长类型char和变长类型varchar2。 数字：整数 number(整数位)，小数 ...
分类：
数据库 时间：
2014-05-26 22:55:47
阅读次数：
312
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
分类：
编程语言 时间：
2014-05-26 15:41:47
阅读次数：
394
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下：分析网页结构，选取自己感兴趣的部分;建立两个Buffer，一个用于保存已经访问.....
分类：
编程语言 时间：
2014-05-26 13:13:56
阅读次数：
318
robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取，哪些内容不能抓取。虽然可以没有robots.txt这个文件，默认就抓取该网站的所有文件，对搜索引擎爬虫没有任何的影响，但是如果你想控制蜘蛛的检索间隔，你就必须用robots.txt来控制。robots.txt不是一种规范，是约定俗成...
分类：
其他好文 时间：
2014-05-26 13:04:58
阅读次数：
228
Insert title here定向数据爬虫和搜索引擎(Directional
Spider)设计(一) ——
元素分析前言页面定向数据抓取目的就是尽可能的抓取在互联网中获取到你感兴趣的数据。因为是定向抓取，同时需要保证对抓取的数据进行数据加工处理，做到对应的数据规范，方便后期检索。
简单的说这个...
分类：
其他好文 时间：
2014-05-26 07:28:45
阅读次数：
225
simhash与重复信息识别在工作学习中，我往往感叹数学奇迹般的解决一些貌似不可能完成的任务，并且十分希望将这种喜悦分享给大家，就好比说：“老婆，出来看上帝”……
随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复...
分类：
其他好文 时间：
2014-05-26 06:38:50
阅读次数：
258
