标签：spi nload content dmi 下载 还需要 lis 视频 turn
1.新建一个电视剧爬虫入口类StartDSJCount。如果后期还需要综艺或者电影，也可以仿照再新建综艺或电影爬虫入口类。
package com.dajiangtai.djt_spider.start;
import com.dajiangtai.djt_spider.entity.Page;
import com.dajiangtai.djt_spider.service.IDownLoadService;
import com.dajiangtai.djt_spider.service.impl.HttpClientDownLoadService;
/**
* 电视剧爬虫入口类
* @author Administrator
* 1.在StartDSJCount 中定义页面下载接口downLoadService
2.需要对它get/set，这样在StartDSJCount实例化后，可以设置属性downLoadService，这个接口需要实例化，因此，使用set方式对接口进行实例化。
3.添加public Page downloadPage(String url)方法，调用接口this.downLoadService.download(url)方法
4.main方法中进行测试。
*/
public class StartDSJCount {
//页面下载接口
private IDownLoadService downLoadService;
public static void main(String[] args) {
StartDSJCount dsj = new StartDSJCount();
dsj.setDownLoadService(new HttpClientDownLoadService());
String url = "http://list.youku.com/show/id_z9cd2277647d311e5b692.html?spm=a2h0j.8191423.sMain.5~5~A!2.iCUyO9";
//下载页面
Page page = dsj.downloadPage(url);
System.out.println(page.getContent());
}
//下载页面方法
public Page downloadPage(String url){
return this.downLoadService.download(url);
}
public IDownLoadService getDownLoadService() {
return downLoadService;
}
public void setDownLoadService(IDownLoadService downLoadService) {
this.downLoadService = downLoadService;
}
}
测试结果：
2.定义解析接口IProcessService。这里是以优酷为例，不同的视频网站有不同的页面格式，因此，解析方式也不同。所以，需要实现一个解析接口。
package com.dajiangtai.djt_spider.service;
import com.dajiangtai.djt_spider.entity.Page;
/**
* 页面解析接口
* @author Administrator
*
*/
public interface IProcessService {
public void process(Page page);
}
标签：spi nload content dmi 下载 还需要 lis 视频 turn
原文地址：http://www.cnblogs.com/lchzls/p/6282239.html
