1，引言《Scrapy的架构初探》一文所讲的Spider是整个架构中最定制化的一个部件，Spider负责把网页内容提取出来，而不同数据采集目标的内容结构不一样，几乎需要为每一类网页都做定制。我们有个设想：是否能做一个比较通用的Spider，把定制部分再进一步隔离出去？GooSeeker有一..
分类：
其他好文 时间：
2016-07-06 10:29:00
阅读次数：
332
robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法：空行、注释行（以#打头）、规则行。规则行的格式为：Field: value。常见的规则行：User-Agent、Disallow、Allow行。 User-Agent行 Disallow和Allow行 ...
分类：
其他好文 时间：
2016-07-05 17:01:34
阅读次数：
153
简介： HTTP ( HyperText Transfer Protocol ) 超文本传输协议，是互联网上应用最广泛的一种网络协议。 HTTP 是一个客户端和服务端请求、应答的标准。使用 WEB 浏览器、网络爬虫或其它工具，客户端发起一个 HTTP 请求，到达服务器指定端口( 默认 80 )。 此 ...
分类：
Web程序 时间：
2016-07-04 11:54:39
阅读次数：
150
ref: http://www.cnblogs.com/vamei/p/3603046.html Python 的设计理念： 平衡于复杂强大的 C 和简单方便的bash。 Python良好的扩展性使得其功能十分全面：web 服务器， 网络爬虫， 科学运算， 机器学习， 游戏开发.... python ...
分类：
编程语言 时间：
2016-07-03 11:48:07
阅读次数：
188
网络爬虫是数据采集的利器，不同的应用领域出现各种各样的网络爬虫类型，企业在组建自己的爬虫团队，招几个爬虫工程师，爬下几个网站，貌似就可以说我们有自己的爬虫团队，我们可以得到任何数据。再过几个月你会发现其实不是这样的。首先第一点爬虫只能爬取公开数据，否则就不是爬虫行为，是黑客行为了，其次写程序能将数据 ...
分类：
其他好文 时间：
2016-07-03 01:45:43
阅读次数：
200
网络爬虫大多都是基于HTTP协议的，要想成为一个网络爬虫高手，熟悉HTTP协议是必不可少的一项基本技能。网络爬虫基本分为两种一种是基本内嵌浏览器的，可视化的操作，另一种是后台进程运行的，第一种的好处是操作简单，学习容易，缺点是效率太低，适合于小数据量的采集第二种的好处是运行效率高，适合大数据量采集， ...
分类：
Web程序 时间：
2016-07-02 10:25:34
阅读次数：
222
整个的宽度优先爬虫过程就是从一系列的种子节点开始，把这些网页中（种子结点网页）的“子节点” (也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放入一张表(通常称 为 Visited 表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于 Visited 表 中。如果存在，证 ...
分类：
编程语言 时间：
2016-07-02 00:35:30
阅读次数：
411
更新：感谢评论中朋友的提醒，百度贴吧现在已经改成utf-8编码了吧，需要把代码中的decode('gbk')改成decode('utf-8')。 百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。 源码下载： http://download. ...
分类：
其他好文 时间：
2016-07-01 06:42:15
阅读次数：
401
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。 开源爬虫汇总表 开发语言 软件名称 软件介绍 许可证 Jav ...
分类：
其他好文 时间：
2016-07-01 06:40:24
阅读次数：
615
转 爬虫的定向爬取与垂直搜索 定向爬虫是网络爬虫的一种。 定向爬虫 定向爬虫可以精准的获取目标站点信息。 定向爬虫获取信息，配上手工或者自动的模版进行信息匹配，将信息进行格式化分析存储。 优势： 基于模版的信息提取技术，能提供更加精准的信息。比如价格，房屋面积，时间，职位，公司名等等。 劣势： 目标 ...
分类：
其他好文 时间：
2016-06-30 18:11:05
阅读次数：
141
