网络爬虫——基于JAVA的宽度优先遍历互联网结点

(2) LinkQueue类：

public class LinkQueue { 
//已访问的 url 集合
 private static Set visitedUrl = new HashSet(); 
//待访问的 url 集合 
private static Queue unVisitedUrl = new Queue();

//获得URL队列
 public static Queue getUnVisitedUrl() {
 return unVisitedUrl; 
} 

//添加到访问过的URL队列中 
public static void addVisitedUrl(String url) { 
visitedUrl.add(url);
 }

 //移除访问过的URL
 public static void removeVisitedUrl(String url) {
 visitedUrl.remove(url); 
} 

//未访问的URL出队列 
public static Object unVisitedUrlDeQueue() {
 return unVisitedUrl.deQueue(); 
}

 // 保证每个 URL 只被访问一次 
public static void addUnvisitedUrl(String url) {
 if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contians(url)) unVisitedUrl.enQueue(url);
 }

 //获得已经访问的URL数目
 public static int getVisitedUrlNum() {
 return visitedUrl.size(); 
} 

//判断未访问的URL队列中是否为空
 public static boolean unVisitedUrlsEmpty() {
 return unVisitedUrl.empty(); 
}
}

(3) DownLoadFile类：
 public class DownLoadFile {
 /** * 根据 URL 和网页类型生成需要保存的网页的文件名，去除 URL 中的非文件名字符 */
 public String getFileNameByUrl(String url,String contentType) {
 //移除http: 
 url=url.substring(7); 
//text/html类型
 if(contentType.indexOf("html")!=-1)
{
 url= url.replaceAll("[\\?/:*|<>\"]", "_")+".html";
 return url;
} 
//如application/pdf类型
 else { return url.replaceAll("[\\?/:*|<>\"]", "_")+"."+ contentType.substring(contentType.lastIndexOf("/")+1);
       }

} 
/** * 保存网页字节数组到本地文件，filePath 为要保存的文件的相对地址 */ 

private void saveToLocal(byte[] data, String filePath) { 
try {
      DataOutputStream out = new DataOutputStream(new FileOutputStream(new File(filePath))); for (int i = 0; i < data.length; i++) 
      out.write(data[i]); 
      out.flush(); 
      out.close();
    } catch (IOException e) {
              e.printStackTrace(); 
  } 
} 
// 下载 URL 指向的网页 
public String downloadFile(String url) {
 String filePath = null;
 // 1.生成 HttpClinet 对象并设置参数 
HttpClient httpClient = new HttpClient();
 // 设置 HTTP 连接超时 5s 
httpClient.getHttpConnectionManager().getParam().setConnectionTimeout(5000);
 // 2.生成 GetMethod 对象并设置参数 
GetMethod getMethod = new GetMethod(url); 
// 设置 get 请求超时 5s 
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);

 // 设置请求重试处理 getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());
 // 3.执行 HTTP GET 请求 
try { int statusCode = httpClient.executeMethod(getMethod); 

// 判断访问的状态码 if (statusCode != HttpStatus.SC_OK) {

System.err.println("Method failed: "+ getMethod.getStatusLine());
 filePath = null;
}


 // 4.处理 HTTP 响应内容 
byte[] responseBody = getMethod.getResponseBody();
// 读取为字节数组 
// 根据网页 url 生成保存时的文件名
 filePath = "temp\\" + getFileNameByUrl(url, getMethod.getResponseHeader( "Content-Type").getValue());
 saveToLocal(responseBody, filePath); 
} catch (HttpException e) {
 // 发生致命的异常，可能是协议不对或者返回的内容有问题 
System.out.println("Please check your provided http address!");
 e.printStackTrace(); 
} catch (IOException e) { 
// 发生网络异常
 e.printStackTrace();
 } finally { 
// 释放连接 getMethod.releaseConnection();
              }
           }
       } return filePath;
   }
}

 public class HtmlParserTool {
 // 获取一个网站上的链接，filter 用来过滤链接
 public static Set<String> extracLinks(String url, LinkFilter filter) {
 Set<String> links = new HashSet<String>(); 
try {
 Parser parser = new Parser(url);
 parser.setEncoding("gb2312"); 
// 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性
 NodeFilter frameFilter = new NodeFilter() {
 public boolean accept(Node node) {
 if (node.getText().startsWith("frame src=")) {
 return true; 
} else {
 return false;
 } 
};
// OrFilter 来设置过滤 <a> 标签和 <frame> 标签
 OrFilter linkFilter = new OrFilter(new NodeClassFilter( LinkTag.class), frameFilter); 
// 得到所有经过过滤的标签 NodeList list = parser.extractAllNodesThatMatch(linkFilter);
 for (int i = 0; i < list.size(); i++) {
 Node tag = list.elementAt(i);
 if (tag instanceof LinkTag)
// <a> 标签 
{ 
LinkTag link = (LinkTag) tag;
 String linkUrl = link.getLink();
// URL
 if (filter.accept(linkUrl)) links.add(linkUrl);
 } else
// <frame> 标签 
{ 
// 提取 frame 里 src 属性的链接，如 <framesrc="test.html"/>
 String frame = tag.getText();
 int start = frame.indexOf("src="); 
frame = frame.substring(start);
 int end = frame.indexOf(" ");
 if (end == -1) 
end = frame.indexOf(">");
 String frameUrl = frame.substring(5, end - 1);
 if (filter.accept(frameUrl)) 
    links.add(frameUrl);
   }
 }
 } catch (ParserException e) {
 e.printStackTrace(); 
 } return links;
} 
}

public class MyCrawler {
 /** * 使用种子初始化 URL 队列 
* @return * @param seeds 种子URL */
 private void initCrawlerWithSeeds(String[] seeds) {
 for(int i=0;i<seeds.length;i++)
 LinkQueue.addUnvisitedUrl(seeds[i]);
 }


/** * 抓取过程 * @return * @param seeds */
 public void crawling(String[] seeds) {
 //定义过滤器，提取以http://www.lietu.com开头的链接
 LinkFilter filter = new LinkFilter(){ 
public boolean accept(String url) {
 if(url.startsWith("http://www.lietu.com")) 
   return true; 
 else
  return false; 
   } 
}

 //初始化 URL 队列
 initCrawlerWithSeeds(seeds);
 //循环条件：待抓取的链接不空且抓取的网页不多于1000
 while(!LinkQueue.unVisitedUrlsEmpty() &&LinkQueue.getVisitedUrlNum()<=1000) { 
//队头URL出队列
 String visitUrl=(String)LinkQueue.unVisitedUrlDeQueue();
 if(visitUrl==null) continue;
 DownLoadFile downLoader=new DownLoadFile()； 
//下载网页 downLoader.downloadFile(visitUrl);
 //该 URL 放入已访问的 URL 中 LinkQueue.addVisitedUrl(visitUrl); 
//提取出下载网页中的 
URL Set<String> links=HtmlParserTool.extracLinks(visitUrl,filter); 
//新的未访问的 URL 入队
 for(String link:links) {
 LinkQueue.addUnvisitedUrl(link); 
      } 
   }
 }
 //main 方法入口
 public static void main(String[]args) {
 MyCrawler crawler = new MyCrawler();
 crawler.crawling(new String[]{"http://www.lietu.com"});
 }