有点老土,今天才知道有一个叫nutch的是且不仅仅是爬虫,非常希望能用它试下伸手,所有过程均在此记录。首先说明一下,我对于java是小白,对于大数据有关的系统如hadoop、hbase等等均是小白,所以请大家多指教,该鄙视就鄙视。
##安装配置
安装过程全部参考nutch tutorial[http://wiki.apache.org/nutch/Nutch2Tutorial]。
1. 下载所需程序包:jdk-8u65-linux-x64.tar.gz,hbase-0.98.8-hadoop1-bin.tar.gz,hbase-0.98.8-hadoop2-bin.tar.gz,apache-nutch-2.3-src.tar.gz。
2. 安装jdk8。
7 mkdir /usr/java 8 cd /usr/java/ 11 cp /home/airgull/download/jdk-8u65-linux-x64.tar.gz ./ 13 tar -zxvf jdk-8u65-linux-x64.tar.gz 15 rm jdk-8u65-linux-x64.tar.gz
原文地址:http://airgull.blog.51cto.com/706409/1727335