基本环境：linux centos6.5 nutch2.2.1源码包，mysql 5.5 ，elasticsearch1.1.1, jdk1.71、下载地址http://mirror.bjtu.edu.cn/apache/nutch/2.2.1/解压2、修改数据存储方式是mysql 修改nutch....
分类：
数据库 时间：
2014-09-12 13:25:43
阅读次数：
406
如果topN 设置为1000万 ，不会这1000万都放到QueueFeeder（内存）中，而是从文件系统中（hdfs）中迭代不断填充QueueFeeder。队列中默认存放 threadcount * 50 。 这个类的作用是从文件系统读文件填充队列。/** * This class fee...
分类：
其他好文 时间：
2014-09-06 02:13:22
阅读次数：
291
现象，这个网站我总计能抽取将近500个URL，但实际只抽取了100条解析：nutch默认从一个页面解析出的链接，只取前 100 个。 db.max.outlinks.per.page 100 The maximum number of outlinks that we'll process ...
分类：
其他好文 时间：
2014-09-05 12:46:31
阅读次数：
162
fetcher.max.crawl.delay 默认是30秒，这里改为 5秒修改nutch-default.xml fetcher.max.crawl.delay 5 If the Crawl-Delay in robots.txt is set to greater than this val.....
分类：
其他好文 时间：
2014-09-05 12:37:31
阅读次数：
193
http://blog.csdn.net/leave00608/article/details/17442163https://svn.apache.org/repos/asf/nutch/tags/release-2.2.1/http://blog.csdn.net/hsb1132/article...
分类：
其他好文 时间：
2014-09-02 19:25:15
阅读次数：
159
webpage字段解释webpage各阶段的字段值变化ROW com.2345.www:http/COL f : fi //fetchIntervalCOL f : ts //fetchTimeid主键，根据网页url生成(格式：reversed domain name...
分类：
其他好文 时间：
2014-09-01 19:07:13
阅读次数：
213
问题：列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案：这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性，将其由65536 改为 655360 ht.....
分类：
其他好文 时间：
2014-09-01 13:50:33
阅读次数：
171
网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络...
分类：
其他好文 时间：
2014-08-30 23:13:50
阅读次数：
434
bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行....
分类：
其他好文 时间：
2014-08-28 20:56:46
阅读次数：
254
JAVA爬虫WebCollector教程列表
入门教程：
WebCollector入门教程（中文版）
用WebCollector对指定URL进行爬取和解析
JAVA爬虫Nutch、WebCollector的正则约束
实例：
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
内核：
利用WebCollector爬虫...
分类：
编程语言 时间：
2014-08-28 14:52:39
阅读次数：
453
