Java编写网络爬虫笔记(第三部分:Jsoup的强大)

基于httpclient下载的页面，接着就是应该提取url了，最开始我用的是htmlpraser，过几天后，我就发现了还有jsoup这个包，非常的好用，接着我就直接用jsoup来抓取页面和提取出里面的url了，在这里跟大家分享一下代码。

import java.io.IOException;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class JSOUP {


    public static Set<String> extractLinks(String url){
        Set<String> urls = new HashSet();
    try {
        Document doc =Jsoup.connect(url).get();
        Elements links=doc.select("a[href]");
    //  System.out.println(links.size());
        for(Element link :links){
            String Url =link.attr("abs:href");
                urls.add(Url);

        }


    } catch (IOException e) {
        // TODO 自动生成的 catch 块
        e.printStackTrace();
    }
    return urls;
}