码迷,mamicode.com
首页 > 其他好文 > 详细

团队-爬取豆瓣电影Top250-项目总结

时间:2017-11-30 23:26:06      阅读:262      评论:0      收藏:0      [点我收藏+]

标签:方式   介绍   网络   极限   pos   协议   alt   使用   请求   

团队名称:极限定理

项目名称:爬取豆瓣电影Top250

组长:邵文强

成员:张晓亮、潘新宇、邵翰庆、宁培强、李国峰

关于功能:我们所做的是一个能够爬取豆瓣电影网的前250的排名程序,针对电影类别查询,统计,整合。

需求分析阶段:这个只是一个很小的程序,目的是为了帮助一部分懒人,当他们想找一下好看的电影的时候,又不想通过打开网页来一个一个翻,可以通过使用我们所做的一个小的程序很快爬取到前250的电影供参考,而且还有影片介绍等等可以进一步了解影片,可以供参考。

软件设计阶段:

  分析设计:需求分析,项目的框架,网络爬虫,半结构化,信息提取,查询的预处理

  功能需求分析:.能够下载任何http协议和HTTPS协议的链接的网页,构造http请求中的GET请求,分析http响应请求。,提取网页链接并统计数量。,保存,能够正确的保存网页及网页信息到文件。

  需要说明的问题:

  1,.利用系统函数把网页读入内存。

  2.利用正则表达式提取相关信息。

  3.把一个网页URL写入文件保存。

  模块:

     1.构造GET请求

  2.链接服务器。

  3.发送GET请求

  4.接受网站返回的数据。

  异常事件:

  1.申请大块内存失败。

  2.分配内存对象失败。

  3.链接网站服务器失败。

  4.发送请求失败。

  5.接受网站返回数据失败

  基本工具的使用

  1)   urllib2:  urllib2的基本用途、只要函数,如何post数据,cookie的设置

  2)异常处理的方式:

    a)try...except

    b)Http异常码

  3) 文件读写创建等常用操作

  4)关于编码问题

  5)运用以上工具实现一个基本网页的抓取。

测试阶段:

  对爬虫程序的设计:输入不合法的URL。能弹出错误提示。

  输入各种类型的URL,只对http和HTTPS链接处理其他链接被视为异常。

技术分享图片

 

技术分享图片

 

 技术分享图片

技术分享图片

技术分享图片

 

团队-爬取豆瓣电影Top250-项目总结

标签:方式   介绍   网络   极限   pos   协议   alt   使用   请求   

原文地址:http://www.cnblogs.com/npqnpq/p/7931997.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!