运行Nutch的时候提示Generator: 0 records selected for fetching, exiting ...然后程序退出，怎么回事呢？ ? 原因多种多样，归根结底就是CrawlDB中的URL经过爬虫抓取调度器（默认是org.apache.nutch.crawl.Defa...
分类：
其他好文 时间：
2015-04-07 12:20:25
阅读次数：
266
Hadoop历史 ? ? ? ? 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 ? ? ? ? 随后在2003年Google发表了...
分类：
其他好文 时间：
2015-04-02 13:33:47
阅读次数：
161
在线文档-nutch2.0 http://tool.oschina.net/apidocs/apidoc?api=nutch2.0Nutch相关框架安装使用最佳指南 - chabale的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/chabale/article...
分类：
其他好文 时间：
2015-03-21 17:00:55
阅读次数：
121
脚本大致分为8部：
Inject URLs（注入urls）
Generate, Fetch, Parse, Update Loop（循环执行：产生待抓取URL，抓取，转换得到的页面，更新各DB）
Merge Segments（合并segments）
Invert Links（得到抓取到的页面的外连接数据）
Index（索引）
Dedup（去重）
Merge Indexes（合并索引）
Load new indexes（tomcat重新加载新索引目录）...
分类：
其他好文 时间：
2015-03-19 18:30:26
阅读次数：
158
一、背景 最近由于项目和论文的需要，需要搭建一个垂直搜索的环境，查阅了很多资料，决定使用Apache的一套解决方案hadoop+hbase+nutch+es。这几样神器的作用就不多作介绍了，自行参考各类百科就行了。我选择这样的方案主要是基于以下考虑： 1、可扩展，虽然一、背景最近由于项目和论文的需要...
分类：
其他好文 时间：
2015-03-19 06:17:22
阅读次数：
110
使用版本 solr4.2报错原因是 书写不正确：http://192.168.202.61:8983 正确的写法是：http://192.168.202.61:8983/solr/collection1
分类：
其他好文 时间：
2015-03-10 15:15:07
阅读次数：
260
1、Apache NutchApache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetc...
分类：
其他好文 时间：
2015-03-06 15:51:23
阅读次数：
143
0搜索引擎文本分析 ——网络爬虫处理互联网信息，从数量上看比例较大的是静态网页和动态的HTML页面。但整个网络上散落的各种格式化文本文件也非常重要。这部门文件包括了各种文章、各种产品文档等，对用户有很大的帮助。
1——非结构化文本概述
互联网上和企业网内有很多专业的文档资料，尤其在检索一些专业资料时，往往会在出现网页文档的同时出现一些DOC PDF PPT等格式的文档。非结构化的文本通常具有一...
分类：
Web程序 时间：
2015-02-25 12:58:45
阅读次数：
131
0 —— Lucene & Nutch是一种神奇的东西，包含了语义分析，自然语言处理，中文分析，网络爬取，索引建立，html解析等，下面介绍几种常用的中文分词工具
1 —— StandardAnalyzer标准分析器，能够根据空格、符号、数字、字母、E-mail地址、IP地址以及中文字符的分析处理分割原始的文本信息，还可以支持过滤词表，用来替代StopAnalyzer能够完成的过滤功能。...
分类：
其他好文 时间：
2015-02-23 13:11:29
阅读次数：
156
使用slf4j作为日志系统时，由于slf4j只是一个接口，它需要一个具体实现来执行。
由于slf4j统一了API接口，因此，若log4j实现来日志输出，则只需要设置配置文件的内容即可，以下是nutch中默认的log4j.properties。
# Define some default values that can be overridden by system properties
had...
分类：
其他好文 时间：
2015-02-17 11:41:57
阅读次数：
474
