码迷,mamicode.com
首页 > 编程语言 > 详细

爬虫中基本的多线程

时间:2017-11-13 11:23:54      阅读:171      评论:0      收藏:0      [点我收藏+]

标签:htm   down   run   爬虫   下载   get   news   exce   申请   

因为Java语言中不允许继承多个类,所以一个类一旦继承了 Thread类,就不能再继承其他
类了。为了避免所有线程都必须是Thread的子类,需要独立运行的类也可以继承一个系统已经
定义好的叫作Runnable的接口。Thread类有个构造方法public Thread(Runnable target)。当线程
启动时,将执行target对象的run()方法。Java内部定义的Runnable接口很简单。

public interface Runnable {
public void run();
}

实现这个接口,然后把要同步执行的代码写在nm()方法中,测试类。

public class Test implements Runnable {
public void run() {
System.out.println ("test") / //同步执行的代码
}

运行需要同步执行的代码。

public class RunIt {
public static void main(String[] args) {
Test a = new Test();
//a.run();错误的写法
//Thread需要一个线程对象,然后它用其中的代码向系统申请CPU时间片
Thread thread=new Thread(a);
thread.start();
}

用不同的线程处理不同的目录页。

public class DownloadSina implements Runnable {
    private static int i = 1;

    @Override
    public void run() {
        String url = null;
        for (;;) {
            synchronized ("") {
                url = "http://roll.mil.news.sina.com.cn/col/zgjq/index" + i++
                        + ".shtml";
            }

            System.out.println(url);
            // 执行下载和处理目录页
        }
    
    }

    public static void main(String[] args) throws Exception {
        DownloadSina st = new DownloadSina();
        Thread tl = new Thread(st); // 启动3个下载线程
        Thread t2 = new Thread(st);
        Thread t3 = new Thread(st);
        tl.start();
        t2.start();
        t3.start();
    }

}

在Java中,为了爬虫稳定性,也可以用多线程来实现爬虫。一般情况下,爬虫程序需要能
在后台长期稳定运行。下载网页时,经常会出现异常。有些异常无法捕获,导致爬虫程序退出。
为了主程序稳定,可以把下载程序放在子线程执行,这样即使子线程因为异常退出了,但是主
线程并不会退出。测试代码如下所示。

public class Mythread extends Thread {
    public void run() {
        System.out.println("Throwing in " +"MyThread");
        throw new RuntimeException();
    }
}
public class ThreadTest{
    public static void main(String[] args) {
        Mythread t = new Mythread();
        t.start();
        try {
            Thread.sleep(2000);
        } catch (Exception e) {
            System.out.println("Caught it");
        }
        System.out.println("Exiting main");
    }
}

 

爬虫中基本的多线程

标签:htm   down   run   爬虫   下载   get   news   exce   申请   

原文地址:http://www.cnblogs.com/Michael2397/p/7824844.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!