码迷,mamicode.com
首页 > 编程语言 > 详细

用Java写的爬虫程序

时间:2014-06-17 16:50:56      阅读:259      评论:0      收藏:0      [点我收藏+]

标签:searching   internet   java编程   互联网   result   

这是一个web查找的根本程序,从命令行输入查找条件(开端的URL、处置url的最大数、要查找的字符串),

它就会逐一对Internet上的URL进行实时查找,查找并输出匹配查找条件的页面。 这个程序的原型来自《java编程艺术》,

为了非常好的剖析,站长去掉了其间的GUI有些,并稍作修改以适用jdk1.5。以这个程序为基础,可以写出在互联网上查找

比如图像、邮件、页面下载之类的“爬虫”。

先请看程序运转的进程: 



D:\java>javac  SearchCrawler.java(编译) 


D:\java>java   SearchCrawler http://www.ceocbs.com/ /zz3zcwbwebhome/index.jsp 20 java 


Start searching... 

result: 

searchString=java 

http://lf.yunnanw.cn/ /zz3zcwbwebhome/index.jsp 

http://www.lcsyt.com/ /zz3zcwbwebhome/reply.jsp 

http://www.minnan888.net/ /zz3zcwbwebhome/learn.jsp 


又如: 

D:\java>java    SearchCrawler http://www.  20 java 

Start searching... 

result: 

searchString=java 

http://sina.com 

http://www.vipfuxin.com/ /W/sinaCN/ina class=a2 

http://www.qclchina.com/ /W/sinaCN/na class=a8 

http://www.tongxinglong.com/ /W/sinaHK/www class=a2 

http://www.jinanwuliangye.com/ /W/sinaTW/ class=a8 



D:\java> 

下面是这个程序的源码 


import java.util.*;

import java.net.*;

import java.io.*;

import java.util.regex.*;


// 查找Web爬行者

public class SearchCrawler implements Runnable{

 

/* disallowListCache缓存robot不允许查找的URL。 Robot协议在Web站点的根目录下设置一个robots.txt文件,

  *规则站点上的哪些页面是约束查找的。 查找程序应该在查找进程中跳过这些区域,下面是robots.txt的一个比如:

 # robots.txt for http://somehost.com/

   User-agent: *

   Disallow: /cgi-bin/

   Disallow: /registration # /Disallow robots on registration page

   Disallow: /login

  */



  private HashMap< String,ArrayList< String>> disallowListCache = new HashMap< String,ArrayList< String>>(); 

  ArrayList< String> errorList= new ArrayList< String>();//错误信息 

  ArrayList< String> result=new ArrayList< String>(); //查找到的结果 

  String startUrl;//开端查找的起点

  int maxUrl;//最大处置的url数

  String searchString;//要查找的字符串(英文)

  boolean caseSensitive=false;//是不是区别大小写

  boolean limitHost=false;//是不是在约束的主机内查找

  

  public SearchCrawler(String startUrl,int maxUrl,String searchString){

   this.startUrl=startUrl;

   this.maxUrl=maxUrl;

   this.searchString=searchString;

  }


用Java写的爬虫程序,布布扣,bubuko.com

用Java写的爬虫程序

标签:searching   internet   java编程   互联网   result   

原文地址:http://8917152.blog.51cto.com/8907152/1426992

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!