码迷,mamicode.com
首页 > 其他好文 > 详细

团队-爬虫豆瓣top250项目-模块开发过程

时间:2017-10-27 17:47:47      阅读:125      评论:0      收藏:0      [点我收藏+]

标签:封装   git   oge   htm   app   div   range   nbsp   http   

项目托管平台地址:https://github.com/gengwenhao/GetTop250.git

开发模块功能:
"get_urls()生成前250电影的页面地址"功能,开发时间:1天(小时),实现了"前250电影的页面地址生成并封装传递给其他模块",实现过程是

python def get_urls(): base_url = r https://movie.douban.com/top250?start=%s&filter= urls = [] for i in range(0, 11): index = i * 25 url = base_url % (index) urls.append(url) return urls

通过分析地址的规则, 构造get的filter传参
遇到的问题及问题解决方法:
开发电影地址获取时遇到了"无法请求到页面"的问题,最终使用"在请求头加入firefox浏览器标识"方法解决了这个问题

    html = requests.get(url, headers=HEADERS)
    html.encoding = "utf8"

 

团队-爬虫豆瓣top250项目-模块开发过程

标签:封装   git   oge   htm   app   div   range   nbsp   http   

原文地址:http://www.cnblogs.com/zhouxin1/p/7743997.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!