hadoop 起源涉及到了：lucene，solr，nutch，hadoop@auther ayy@date 2014/12/211、lucene、nutch、solr Lucene是由Doug Cutting创建的一个基于java的全文搜索工具包，它是Apache下一个很有名的项目。主要功能有：....
分类：
其他好文 时间：
2014-12-21 22:06:05
阅读次数：
272
Hadoop伪分布式配置过程：Hadoop：1.2.1Hbase：0.94.25nutch：2.2.1Java：1.8.0SSH：1.0.1jtomcat：7.0.57zookeeper：3.4.6（1）配置Java环境：http://www.cnblogs.com/xxx0624/p/416474...
分类：
系统相关 时间：
2014-12-21 13:49:57
阅读次数：
359
在对nutch源代码运行ant runtime后，会创建一个runtime的目录，在runtime目录下有deploy和local 2个目录。
[jediael@jediael runtime]$ ls
deploy local
这2个目录分别代表nutch的2种运行方式：部署模式及本地模式。
以下以inject为例，示范2种运行模式。
一、本地模式
1、基本用法：...
分类：
其他好文 时间：
2014-12-21 10:22:39
阅读次数：
239
nutch集成HBase（详见：http://duguyiren3476.iteye.com/blog/2085973 ）1. 修改nutch的hbase配置//将自己的hbase配置copy到nutch配置中cp /home/hbase/conf/hbase-site.xml /home/nutc...
分类：
系统相关 时间：
2014-12-21 10:19:56
阅读次数：
433
Nutch相关框架微信公众号： 利用手机微信扫描上面的二维码，方法： 进入微信主界面，点击右上角的+，点击扫一扫，手机摄像头对准上面的二维码。 在弹出的界面点击关注。 随后就会进入nutch公众号聊天窗口，接着回...
分类：
其他好文 时间：
2014-12-20 07:09:47
阅读次数：
191
Doug Cutting Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop 1997:Lucene 2003:GFS 2004:NDFS\MapReduce\Nutch 2006: (Yahoo! Facebook NewYorkTimes) Hadoop 2008: ...
分类：
其他好文 时间：
2014-12-19 15:43:43
阅读次数：
149
利用ant编译nutch2.x详见：1. http://blog.javachen.com/2014/05/20/nutch-intro/ 2. wiki.apache.org/nutch/Nutch2Tutorial前提条件：配置ant（http://www.cnblogs.com/xxx0...
分类：
系统相关 时间：
2014-12-18 21:55:11
阅读次数：
414
问题描述：
将nutch爬的网页源代码存在mysql中，网页编码为gb2312的网页中文乱码，其他编码暂未发现问题。因为nutch对爬下的网页源代码content不作任何处理，仅仅保存，而我的mysql编码设置的为utf-8，所以会显示乱码。
现在需要处理网页源代码，取出指定数据，那么java程序如何将gb2312中文乱码的网页源代码转化为非乱码。
解决：
其实采用ResultSe...
分类：
数据库 时间：
2014-12-16 15:09:19
阅读次数：
277
