码迷,mamicode.com
首页 > 其他好文 > 详细

爬取豆瓣上某个用户标记的想读的图书信息

时间:2018-06-09 20:32:12      阅读:332      评论:0      收藏:0      [点我收藏+]

标签:信息保存   代码   inf   抓取   备份   下载链接   ide   信息   ref   

一,程序的功能和适用人群

程序的功能是爬取豆瓣用户标记的想读的图书,将图书信息保存为excel文件。适用于想备份在豆瓣上标记的图书的用户。

二,执行效果

程序执行后会得到一个excel文件,保存了用户想要读的图书信息,如下图:

技术分享图片

三,技术路线

技术路线是选取用户在豆瓣上标记的想读的图书的首页url作为种子url,如下图

技术分享图片

遍历这一页中所有的图书信息,通过每本图书链接抓取每本图书的具体信息,以下左图是首页的图书信息,右图是通过左图的链接进入的要爬取的具体的图书信息。

技术分享图片技术分享图片

 

在爬取首页的url中的所有图书时,判断是否还有下一页,如果有则爬取下一页的图书信息,直至没有要爬取的下一页图书信息。

四,发布方式和下载链接

源代码发布在github上,地址:https://github.com/041240515lq/python_spider/blob/master/spiderBook.py

程序编译成exe发布,exe程序下载地址,

 

爬取豆瓣上某个用户标记的想读的图书信息

标签:信息保存   代码   inf   抓取   备份   下载链接   ide   信息   ref   

原文地址:https://www.cnblogs.com/liquan/p/9160591.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!