java调用phantomjs采集ajax加载生成的网页

标签：

java调用phantomjs采集ajax加载生成的网页

1. //codes.js   
2. system = require(‘system‘)   
3. address = system.args[1];//获得命令行第二个参数 接下来会用到   
4. //console.log(‘Loading a web page‘);   
5. var page = require(‘webpage‘).create();   
6. var url = address;   
7. //console.log(url);   
8. page.open(url, function (status) {   
9.     //Page is loaded!   
10.     if (status !== ‘success‘) {   
11.         console.log(‘Unable to post!‘);   
12.     } else {   
13.         //console.log(page.content);   
14.         //var title = page.evaluate(function() {   
15.         //  return document.title;//示范下如何使用页面的jsapi去操作页面的  www.oicqzone.com 
16.         //  });   
17.         //console.log(title);   
18.            
19.         console.log(page.content);   
20.     }      
21.     phantom.exit();   
22. });    

1. import org.apache.commons.io.IOUtils;   
2.    
3. import java.io.*;   
4.    
5. /**  
6.  * Created with IntelliJ IDEA.  
7.  * User: lsz  
8.  * Date: 14-4-22  
9.  * Time: 下午1:17  
10.  * utils for http  
11.  */   
12. public class HttpUtils {   
13.     public static String getAjaxCotnent(String url) throws IOException {   
14.         Runtime rt = Runtime.getRuntime();   
15.         Process p = rt.exec("phantomjs.exe c:/phantomjs/codes.js "+url);//这里我的codes.js是保存在c盘下面的phantomjs目录   
16.         InputStream is = p.getInputStream();   
17.         BufferedReader br = new BufferedReader(new InputStreamReader(is));   
18.         StringBuffer sbf = new StringBuffer();   
19.         String tmp = "";   
20.         while((tmp = br.readLine())!=null){   
21.             sbf.append(tmp);   
22.         }   
23.         //System.out.println(sbf.toString());   
24.         return sbf.toString();   
25.     }   
26.    
27.     public static void main(String[] args) throws IOException {   
28.         getAjaxCotnent("http://www.oicqzone.com");   
29.     }   
30. }   

java调用phantomjs采集ajax加载生成的网页

标签：

原文地址：http://www.cnblogs.com/firstdream/p/5119720.html