码迷,mamicode.com
首页 > 编程语言 > 详细

Java使用HtmlUnit抓取js渲染页面

时间:2017-05-22 17:45:47      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:jaxp   utc   static   xpage   for   pid   pil   htm   使用   

需求:

需要采集js渲染的页面,有些网站的页面是js渲染的

实现:

基于HtmlUnit实现:

  1. public static void getAjaxPage() throws Exception{  
  2.     WebClient webClient = new WebClient();  
  3.     webClient.setJavaScriptEnabled(true);  
  4.     webClient.setCssEnabled(false);  
  5.     webClient.setAjaxController(new NicelyResynchronizingAjaxController());  
  6.     webClient.setTimeout(Integer.MAX_VALUE);  
  7.     webClient.setThrowExceptionOnScriptError(false);  
  8.     HtmlPage rootPage = webClient.getPage("http://tt.mop.com/read_14304066_1_0.html");  
  9.  
  10.     System.out.println(rootPage.asXml());  

maven依赖:

  1. <dependency
  2.     <groupId>net.sourceforge.htmlunit</groupId
  3.     <artifactId>htmlunit-core-js</artifactId
  4.     <version>2.9</version
  5.     <scope>compile</scope
  6. </dependency
  7. <dependency
  8.     <groupId>net.sourceforge.htmlunit</groupId
  9.     <artifactId>htmlunit</artifactId
  10.     <version>2.9</version
  11.     <scope>compile</scope
  12. </dependency

说明:

Nutch插件:nutch-htmlunit用于替换Nutch自身的Http Fetch组件

Java使用HtmlUnit抓取js渲染页面

标签:jaxp   utc   static   xpage   for   pid   pil   htm   使用   

原文地址:http://www.cnblogs.com/love540376/p/6890372.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!