第一次看到ByteArrayOutputStream的时候是在Nutch的部分源码，后来在涉及IO操作时频频发现这两个类的踪迹，觉得确实是很好用，所以把它们的用法总结一下。ByteArrayOutputStream的用法以下是JDK中的记载：public class ByteArrayOutputS...
分类：
编程语言 时间：
2015-11-20 14:09:53
阅读次数：
191
Hadoop的创始人是Doug Cutting， 同时也是著名的基于Java的检索引擎库Apache Lucene的创始人。Hadoop本来是用于著名的开源搜索引擎Apache Nutch，而Nutch本身是基于Lucene的，而且也是Lucene的一个子项目。因此Hadoop基于Java就很理所当...
分类：
编程语言 时间：
2015-11-14 23:18:27
阅读次数：
351
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
首先，何以见得crawl是inject,generate,fetch,parse,update的集成呢(命令的具体含义及功能会在后续文章中说明)，我们打开NUTCH_HOME/runtime/local/bin/crawl 我将主要代码黏贴下来 #?initial?injection
echo?...
分类：
Web程序 时间：
2015-10-30 02:22:10
阅读次数：
332
上一篇文章介绍了nutch的安装 该文会简单的抓取网站 http://www.6vhao.com 1,打开目录nutch-2.3/runtime/local 2,mkdir urls nano urls/url：添加链接 http://www.6vhao.com保存退出 3，在local目录下使用命令 ./...
分类：
Web程序 时间：
2015-10-29 06:20:39
阅读次数：
579
1，版本是个很重要的问题 nutch上面有介绍和nutch配合使用的各框架的版本 2，下载hbase，放在opt/下 3，tar -zxvf hbase-* 4，更改conf 下的 hbase-site.xml文件 添加属性： <configuration> <property> <name>h...
分类：
其他好文 时间：
2015-10-29 01:00:47
阅读次数：
361
Nutch是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 nutch是开放源代码的，因此任何人都可以查看他的排序算法是如何工作的。商业的搜索引擎排序算法都是保密的，我们无法知道为什么搜索出来的排序结果是如何算出来的。更进一步，一些搜索引擎允许竞价排名，比...
分类：
其他好文 时间：
2015-10-26 16:52:09
阅读次数：
175
Nutch学习笔记二——抓取过程简析 学习环境： ubuntu 概要： Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 通过nutch，诞生了hadoop、tika、g...
分类：
其他好文 时间：
2015-09-23 06:46:50
阅读次数：
758
一、nutch简介 nutch是大名鼎鼎的Doug Cutting发起的爬虫项目，nutch孵化了现在大数据处理框架Hadoop。在nutch V 0.8.0 版本之前，Hadoop是nutch的一部分，从nutch V0.8.0开始，HDFS和MapReduce从nutch中剥离出成为Hadoop...
分类：
其他好文 时间：
2015-09-07 21:12:46
阅读次数：
369
hadoop应历史之潮流，随着理论探索、科学技术试验的不断开展，hadoop终于2006年问世，惊天地泣鬼神！（大讲台-国内首个it在线混合式自适应学习平台，http://www.dajiangtai.com) hadoop雏形开始于2002年的Apache的Nutch，Nutch是一个开源Ja.....
分类：
其他好文 时间：
2015-08-31 11:46:48
阅读次数：
201
