一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
编程语言 时间：
2014-05-27 00:15:52
阅读次数：
328
如果使用对方网站数据，而又没有响应的接口，或者使用接口不够灵活的情况下，使用爬虫在合适不过了。爬虫有几种，对方网站展示形式有几种都是用分析，每个网站展示有相似的地方，有不同的地方。
大部分使用httpRequst就能完成，不管是否添加了口令、随即码、请求参数、提交方式get或者post、地址来源、....
分类：
其他好文 时间：
2014-05-22 10:13:09
阅读次数：
370
简介
nutch是一个用java实现的网络爬虫，但却不仅仅是一个爬虫。它还囊括了网页分析，索引，搜索等功能，所白了，可以当做一个搜索引擎来用。nutch的意义在于，为普通开发人员提供了一扇研究搜索引擎的窗户，让搜索引擎不再神秘。而且，由于nutch的不断发展，对性能以及并行批处理的要求不断提供，h....
分类：
其他好文 时间：
2014-05-22 01:21:40
阅读次数：
258
我在编写一段pythn爬虫的时候遇到一个估计是编码的问题，可以怎么也解决不好。代码如下:#- * -
coding: UTF-8 -*-import urllib.requestimport rehtml =
urllib.request.urlopen("http://weibo.com/p/10...
分类：
编程语言 时间：
2014-05-22 00:59:35
阅读次数：
354
原文:简单爬虫-抓取博客园文章列表
如果使用对方网站数据，而又没有响应的接口，或者使用接口不够灵活的情况下，使用爬虫在合适不过了。爬虫有几种，对方网站展示形式有几种都是用分析，每个网站展示有相似的地方，有不同的地方。
大部分使用httpRequst就能完成，不管是否添加了口令、随即码、请求参数、提交...
分类：
其他好文 时间：
2014-05-22 00:45:58
阅读次数：
468
相信不少博主都习惯了各种爬虫，各种采集了吧。前些时间好像有个朋友在抱怨博客园怎么没有对我们知识结晶进行保护。其实采集就采集吧，不加作者信息也就算了，最可恶的是不保留作者信息。好吧，不扯蛋了，我们进入正题。我测试过多种方法，比如在开头加上隐藏的作者信息，或者原文链接等等方法。可是机器人也不是吃素的，现...
分类：
其他好文 时间：
2014-05-21 18:51:17
阅读次数：
267
1、下载python3.3安装包#wget wget --no-cookie
--no-check-certificate --header "Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F"
http://www.python.org/ftp/pytho...
分类：
编程语言 时间：
2014-05-21 17:23:59
阅读次数：
391
做个网页爬虫或搜索引擎（以下统称蜘蛛程序）的各位一定不会陌生，在爬虫或搜索引擎访问网站的时候查看的第一个文件就是robots.txt了。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
那我们应该怎样使用robots.txt呢？
...
分类：
其他好文 时间：
2014-05-21 15:03:59
阅读次数：
190
8.2 模板
String模块包含一个用途广泛的类，此类为最终用户的编辑提供了简单的语法支持。这让用户不修改应用程序的前提下实现他们应用程序的定制。
这种格式使用$加有效的python标识符（数字、字母和下划线）形式的占位符名称。通过在占位符两侧使用大括号便可以不用空格分隔在其后面跟随更多的字母和数字字符。使用$$来创建一个单独$转码字符。
>>> from string impo...
分类：
编程语言 时间：
2014-05-20 14:06:48
阅读次数：
333
