用Java写的爬虫程序

标签：class   java   http   tar   com   文件   

这是一个web查找的根本程序，从命令行输入查找条件（开端的URL、处置url的最大数、要查找的字符串),

它就会逐一对Internet上的URL进行实时查找,查找并输出匹配查找条件的页面。 这个程序的原型来自《java编程艺术》，

为了非常好的剖析，站长去掉了其间的GUI有些，并稍作修改以适用jdk1.5。以这个程序为基础，可以写出在互联网上查找

比如图像、邮件、页面下载之类的“爬虫”。

先请看程序运转的进程： 

D:\java>javac  SearchCrawler.java（编译） 

D:\java>java   SearchCrawler http://www.ceocbs.com/ /zz3zcwbwebhome/index.jsp 20 java 

Start searching... 

result: 

searchString=java 

http://lf.yunnanw.cn/ /zz3zcwbwebhome/index.jsp 

http://www.lcsyt.com/ /zz3zcwbwebhome/reply.jsp 

http://www.minnan888.net/ /zz3zcwbwebhome/learn.jsp 

又如： 

D:\java>java    SearchCrawler http://www.  20 java 

Start searching... 

result: 

searchString=java 

http://sina.com 

http://www.vipfuxin.com/ /W/sinaCN/ina class="a2" 

http://www.qclchina.com/ /W/sinaCN/na class="a8" 

http://www.tongxinglong.com/ /W/sinaHK/www class="a2" 

http://www.jinanwuliangye.com/ /W/sinaTW/ class="a8" 

D:\java> 

下面是这个程序的源码 

import java.util.*;

import java.net.*;

import java.io.*;

import java.util.regex.*;

// 查找Web爬行者

public class SearchCrawler implements Runnable{

/* disallowListCache缓存robot不允许查找的URL。 Robot协议在Web站点的根目录下设置一个robots.txt文件,

  *规则站点上的哪些页面是约束查找的。 查找程序应该在查找进程中跳过这些区域,下面是robots.txt的一个比如:

 # robots.txt for http://somehost.com/

   User-agent: *

   Disallow: /cgi-bin/

   Disallow: /registration # /Disallow robots on registration page

   Disallow: /login

  */

  private HashMap< String,ArrayList< String>> disallowListCache = new HashMap< String,ArrayList< String>>(); 

  ArrayList< String> errorList= new ArrayList< String>();//错误信息 

  ArrayList< String> result=new ArrayList< String>(); //查找到的结果 

  String startUrl;//开端查找的起点

  int maxUrl;//最大处置的url数

  String searchString;//要查找的字符串(英文)

  boolean caseSensitive=false;//是不是区别大小写

  boolean limitHost=false;//是不是在约束的主机内查找

  public SearchCrawler(String startUrl,int maxUrl,String searchString){

   this.startUrl=startUrl;

   this.maxUrl=maxUrl;

   this.searchString=searchString;

  }

用Java写的爬虫程序,布布扣,bubuko.com

用Java写的爬虫程序

标签：class   java   http   tar   com   文件   

原文地址：http://www.cnblogs.com/haomad/p/3791276.html