最近使用了Jsoup，感觉还是挺简单，挺方便的，轻而易举地抓取网页源码，分析获取各个标签所需的东西。
这几天在搞一个音乐播放器的小项目，其中使用到了就是使用JSOUP进行页面数据的获取，获取网页的歌曲列表，并对歌曲的链接进行加载，以便实现歌曲下载和歌词的下载。搞好之后，就会跟着写几篇博文，分享给大家。本博文主要说明android中使用jsoup如何进行网页数据的获取。
具体可看下面各个相关例子：
Jsoup下载地址：
http://jsoup.org/download
jsoup开发指南,jsoup中文使用手册,jsoup中文文档：
http://www.open-open.com/jsoup/
中文文档非常好，说明也非常详细，网上面好多都是拷贝这个中文文档发的博文。我刚开始的时候看了，但是一直对于其中的选择器所选择的内容一直不知道如何选择。这个问题好多博文没有说明。
本博文不再说明关于jsoup的用法之类的api了，中文文档说明的很明白了，主要说明如何进行解析网页数据。本博文解析的案例主要是解析网页中的歌曲列表，网页地址是：http://music.baidu.com/top/new/?pst=shouyeTop
网页界面：
这个网页是百度音乐的网页，收录了新歌排行榜，项目中就是对这个网页进行解析获取歌曲列表的。
先上图，android实现的界面如下：
解析网页然后，获取网页数据，加载列表，展示给用户。
下面开始具体实现：
1 歌曲对象类
/**
* 2015年8月15日 15:51:26
* 博文地址：http://blog.csdn.net/u010156024
* 歌曲对象类
*/
public class SearchResult implements Serializable {
private static final long serialVersionUID = 0X00000001l;
private String musicName;
private String url;
private String artist;
private String album;
public String getArtist() {
return artist;
}
public void setArtist(String artist) {
this.artist = artist;
}
public String getMusicName() {
return musicName;
}
public void setMusicName(String musicName) {
this.musicName = musicName;
}
public String getUrl() {
return url;
}
public void setUrl(String url) {
this.url = url;
}
public String getAlbum() {
return album;
}
public void setAlbum(String album) {
this.album = album;
}
}上面是一个歌曲对象类，非常简单的javabean。不多说了。
2 使用jsoup进行页面数据解析
/**
* 2015年8月15日 15:54:43
* 博文地址：http://blog.csdn.net/u010156024
* 该类完成功能： 有URL链接解析出推荐的歌曲列表
*/
public class SongsRecommendation {// http://music.baidu.com/top/new/?pst=shouyeTop
private static final String URL = "http://music.baidu.com"
+ "/top/new/?pst=shouyeTop";
private static SongsRecommendation sInstance;
/**
* 回调接口，传递数据给Activity或者Fragment
* 非常好用的数据传递方式
*/
private OnRecommendationListener mListener;
private ExecutorService mThreadPool;
public static SongsRecommendation getInstance() {
if (sInstance == null)
sInstance = new SongsRecommendation();
return sInstance;
}
private Handler mHandler = new Handler() {
@SuppressWarnings("unchecked")
@Override
public void handleMessage(Message msg) {
switch (msg.what) {
case Constants.SUCCESS:
if (mListener != null)
mListener
.onRecommend((ArrayList<SearchResult>) msg.obj);
break;
case Constants.FAILED:
if (mListener != null)
mListener.onRecommend(null);
break;
}
}
};
@SuppressLint("HandlerLeak")
private SongsRecommendation() {
// 创建单线程池
mThreadPool = Executors.newSingleThreadExecutor();
}
/**
* 设置回调接口OnRecommendationListener类的对象mListener
*
* @param l
* @return
*/
public SongsRecommendation setListener(OnRecommendationListener l) {
mListener = l;
return this;
}
/**
* 真正执行网页解析的方法
* 线程池中开启新的线程执行解析，解析完成之后发送消息
* 将结果传递到主线程中
*/
public void get() {
mThreadPool.execute(new Runnable() {
@Override
public void run() {
ArrayList<SearchResult> result = getMusicList();
if (result == null) {
mHandler.sendEmptyMessage(Constants.FAILED);
return;
}
mHandler.obtainMessage(Constants.SUCCESS, result)
.sendToTarget();
}
});
}
private ArrayList<SearchResult> getMusicList() {
try {
/**
* 一下方法调用请参考官网
* 说明：timeout设置请求时间，不宜过短。
* 时间过短导致异常，无法获取。
*/
Document doc = Jsoup
.connect(URL)
.userAgent(
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36"
+ " (KHTML, like Gecko) Chrome/42.0.2311.22 Safari/537.36")
.timeout(60 * 1000).get();
//select为选择器，请参考官网说明
Elements songTitles = doc.select("span.song-title");
Elements artists = doc.select("span.author_list");
ArrayList<SearchResult> searchResults = new ArrayList<SearchResult>();
for (int i = 0; i < songTitles.size(); i++) {
SearchResult searchResult = new SearchResult();
Elements urls = songTitles.get(i).getElementsByTag("a");
searchResult.setUrl(urls.get(0).attr("href"));
searchResult.setMusicName(urls.get(0).text());
Elements artistElements = artists.get(i).getElementsByTag("a");
searchResult.setArtist(artistElements.get(0).text());
searchResult.setAlbum("最新推荐");
searchResults.add(searchResult);
}
return searchResults;
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
/**
* 回调接口 获取数据之后，通过该接口设置数据传递
*/
public interface OnRecommendationListener {
public void onRecommend(ArrayList<SearchResult> results);
}
}上面这个类就是实现也对网页数据的解析，解析完成之后，通过handler传递给主线程，主线程中handmessage方法中，通过回调接口，将数据传递给调用该类的activity或者fragment。
一般的博文大部分到此就为止了，因为关键部分都已经给大家说明了。但是我想说的是在使用jsoup进行解析的时候，
//select为选择器，请参考官网说明
Elements songTitles = doc.select("span.song-title");
Elements artists = doc.select("span.author_list");
ArrayList<SearchResult> searchResults = new ArrayList<SearchResult>();
for (int i = 0; i < songTitles.size(); i++) {
SearchResult searchResult = new SearchResult();
Elements urls = songTitles.get(i).getElementsByTag("a");
searchResult.setUrl(urls.get(0).attr("href"));
searchResult.setMusicName(urls.get(0).text());
Elements artistElements = artists.get(i).getElementsByTag("a");
searchResult.setArtist(artistElements.get(0).text());
searchResult.setAlbum("最新推荐");
searchResults.add(searchResult);
}这部分代码最为关键，而其中
Elements songTitles = doc.select(“span.song-title”);
Elements artists = doc.select(“span.author_list”);
这两句代码中的span.song-title 、span.author_list怎么选的呢？刚开始的时候真是不理解，现在我就带着大家看看如何进行选择的。如果你读到这里已经明白了，那就不用往下看了。如果不明白，请继续。。。
首先到网页http://music.baidu.com/top/new/?pst=shouyeTop，使用浏览器查看源码，截图：
通过查看源码我们知道，上面所选择的span.song-title、span.author_list都是源码中的。
下面我们再到http://try.jsoup.org/ 网页，进行尝试在线解析，页面截图：
下面输入http://music.baidu.com/top/new/?pst=shouyeTop 在线解析看看解析后的数据:
相信由上面两个图的说明，大家应该明白了代码中是如何进行选择器的选取的。按照官网的说明，选择器非常强大，能够进行综合的选择，大大简化从网页中获取数据的复杂度。
至此，基本完成本博文想要说明的内容，如果有什么错误，请大家不吝赐教。如果觉得还可以，请留个言，给个赞呗~~ ^_^谢谢~【握手】
版权声明：本文为博主原创文章，未经博主允许不得转载。
原文地址：http://blog.csdn.net/u010156024/article/details/47682401
