码迷,mamicode.com
首页 > 编程语言 > 详细

java简单网页抓取

时间:2014-12-18 09:07:58      阅读:281      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   ar   io   color   os   sp   for   

背景介绍

一 tcp简介

  1 tcp 实现网络中点对点的传输

  2 传输是通过portssockets

    ports提供了不同类型的传输(例如 http的port是80)

       1)sockets可以绑定在特定端口上,并且提供传输功能

     2)一个port可以连接多个socket

二 URL简介

URL 是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。

互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

综上,我们要抓取网页的内容实质上就是通过url来抓取网页内容。

 

Java提供了两种方法:

一种是直接从URL读取网页

一种是通过 URLConnection来读取网页

其中的分别是URLConnection是以http为核心的类,提供了很多关于连接http的函数

 

本文将给出基于URLConnection的实例代码。

在此之前我们先来看下关于url的异常。不了解java异常机制的请参看上一篇博文。

构造URL的异常MalformedURLException:url的字符串为空或者是不能辨认的协议

建立 URLConnection的异常 IOException: openConnection失败,注意openConnection时 代码还未连接远程,只是为连接远程做准备

综上 最终代码

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;


public class SimpleNetSpider {

    public static void main(String[] args) {

        try{
            URL u = new URL("http://docs.oracle.com/javase/tutorial/networking/urls/");
            URLConnection connection = u.openConnection();
            HttpURLConnection htCon = (HttpURLConnection) connection;
            int code = htCon.getResponseCode();
            if (code == HttpURLConnection.HTTP_OK)
            { 
                System.out.println("find the website");
                BufferedReader in=new BufferedReader(new InputStreamReader(htCon.getInputStream()));
                String inputLine;
                while ((inputLine = in.readLine()) != null) 
                        System.out.println(inputLine);
                    in.close();
            }
            else
            {
                System.out.println("Can not access the website");
            }
        }
        catch(MalformedURLException e )
        {  
            System.out.println("Wrong URL");
        }
        catch(IOException e)
        {
            System.out.println("Can not connect");
        }


    }

}

参考文献:

http://docs.oracle.com/javase/tutorial/networking/urls/index.html

 

java简单网页抓取

标签:style   blog   http   ar   io   color   os   sp   for   

原文地址:http://www.cnblogs.com/AlexWei/p/4170891.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!