有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
nutcher是中文的nutch文档，包含nutch的配置和源码解析，在github持续更新。
本教程由逼格DATA提供，未经允许，禁止转载。
可加入nutcher的bbs进行讨论：Nutch开发者
目录：
Nutch教程——导入Nutch工程，执行完整爬取
Nutch流程控制源码详解（bin/crawl中文注释版）
URLNormalizer源码详解（Nutch的URL正规化机制）...
分类：
编程语言 时间：
2015-07-25 15:17:22
阅读次数：
175
GuozhongCrawler的分布式爬虫还在开发当中。作者首先爆出GuozhongCrawler实现的基于redis的队列，提供大家写其他分布式爬虫的参考。...
分类：
其他好文 时间：
2015-06-18 19:57:43
阅读次数：
73
前言考虑到上次的网络爬虫总结一文对基础的知识还没有介绍完整，所以今天花一点时间来补充上次的网络爬虫基础知识。这次给大家总结了两个方面的内容：暗网抓取和分布式爬虫。希望对阅读本文的博友们有所收获。暗网抓取物理学研究表明，在目前宇宙所有物质的总体质量中，星系等可见物质占其中的20%，不可探测的暗物质占据...
分类：
其他好文 时间：
2015-05-29 19:57:14
阅读次数：
139
写爬虫关键是思路，思路明确代码实现起来不是问题。 关于用Python实现一个分布式爬虫，我曾折腾了很长一段时间，翻遍了Google十几页，和 Python 分布式 爬虫 等关键字相关的博客也就那么几篇，后来在学习Redis的时候，终于找到了实现分布式的方法。看来当现有的技术解决不了实际问题的时候，是...
分类：
编程语言 时间：
2015-05-21 22:30:39
阅读次数：
952
对于商业搜索引擎来说，分布式爬虫架构是必须采用的技术。面对海量待抓取网页，只有采取分布式架构，才有可能在较短时间内完成一轮抓取工作。 分布式爬虫可以分为若千个分布式层级。不同的应用可能由其中部分层级构成，下图是一个大型分布式爬虫的3个层级:分布式数据中心、分布式抓取服务器及分布式爬虫程序。整个爬虫....
分类：
其他好文 时间：
2015-05-16 01:24:10
阅读次数：
449
分类分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同..
分类：
编程语言 时间：
2015-04-20 13:20:07
阅读次数：
168
分类分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地...
分类：
编程语言 时间：
2015-04-20 11:06:08
阅读次数：
229
最近想用scala写一个分布式爬虫框架。没有反射就没有框架。所以需要准备下scala反射的知识什么是反射？反射是程序的一种自省能力。利用反射可以从更高的抽象等级写程序甚至在运行时改变程序本身反射有哪些类型？根据使用的时机不同，可以分为：运行时反射，编译时反射，具体化..
分类：
其他好文 时间：
2015-04-05 06:46:52
阅读次数：
844
最近在做项目的时候有一个需求：从网页面抓取数据，要求是首先抓取整个网页的html源码（后期更新要使用到）。刚开始一看这个简单，然后就稀里哗啦的敲起了代码（在这之前使用过Hadoop平台的分布式爬虫框架Nutch，...
分类：
编程语言 时间：
2014-10-17 02:11:54
阅读次数：
306
