码迷,mamicode.com
首页 > Web开发 > 详细

解决Jsoup网页抓取过程中需要cookie的问题

时间:2014-08-25 20:47:24      阅读:247      评论:0      收藏:0      [点我收藏+]

标签:blog   http   java   使用   问题   div   log   sp   on   

最近在做城觅网的信息抓取,发现城觅网上海与北京的url是一样的。那怎样才确定信息的来源呢?折腾了半天,才发现城觅网是使用cookie的,如果你把网站的cookie禁用了,就无法在上海与北京之间切换了。

于是便想到了请求时将cookie带上。方法如下:

第一步,拿到上海或者北京的cookie

Map<String, String> cookies = null;
Response res = Jsoup.connect("http://www.chengmi.com/shanghai").timeout(30000).execute();
cookies = res.cookies();

第二步,抓取网页信息时将cookie信息带上

Document doc = null;
doc = Jsoup.connect(url).cookies(cookies).timeout(30000).get();

这样就解决了抓取网页需要cookie的问题

解决Jsoup网页抓取过程中需要cookie的问题

标签:blog   http   java   使用   问题   div   log   sp   on   

原文地址:http://www.cnblogs.com/BensonHe/p/3935677.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!