1、Apache NutchApache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetc...
分类：
其他好文 时间：
2015-03-06 15:51:23
阅读次数：
143
1. 首先，准备好hadoop安装包和JDK，hadoop-1.0.3的svn版本库：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/， hadoop-1.0.3的安装包地址：http://archive.apache...
分类：
其他好文 时间：
2015-01-27 13:11:44
阅读次数：
228
环境：Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exeLinux系统Ubuntu12.0.4JDK jdk-7u17-linux-i586.tar.gz搭建步骤：首先在win系统装虚拟机，执行VMware-workstation-full-9...
分类：
其他好文 时间：
2015-01-11 17:38:48
阅读次数：
211
1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，插件包下载地址为：http://download.csdn.net/detail/mchdba/8267181，jar包名字为hadoop-eclipse-plugin-2.3.0，...
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，插件包下载...
Hadoop集群搭建 ?? 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 ? 1. Centos安装之后基本配...
分类：
其他好文 时间：
2014-08-07 16:00:20
阅读次数：
370
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建，在这里我使用了两台服务器，一台作为master即namenode主机，另一台作为slave即datanode主机，增加更多的slave只需重复slave部分的内容即可。系统版本：master：Ubuntu
12....
分类：
其他好文 时间：
2014-06-10 22:01:07
阅读次数：
423
这篇文章介绍的是简单的配置Hadoop集群的方法，适合实验和小型项目用，正式运行的集群需要用更正规的方法和更详细的参数配置，不适合使用这篇文章。安装
JDK在终端输入$ java -version如果有反应，说明已安装过jdk。如果显示的信息里出现了类似OpenJDK的字样，如java versio...
分类：
其他好文 时间：
2014-06-07 02:53:11
阅读次数：
336
