网页爬虫及其用到的算法和数据结构

标签：style   http   color   io   os   ar   for   文件   数据   

import requests
url="http://www.cricode.com" r=requests.get(url)

• 1）给定的种子URLs，爬虫程序将所有种子URL页面爬取下来
• 2）爬虫程序解析爬取到的URL页面中的链接，将这些链接放入待爬取URL集合中
• 3）重复1、2步，直到达到指定条件才结束爬取

import requests                       #用来爬取网页 from bs4 import BeautifulSoup         #用来解析网页 seds = ["http://www.hao123.com",      #我们的种子               "http://www.csdn.net",               "http://www.cricode.com"] sum = 0                               #我们设定终止条件为：爬取到100000个页面时，就不玩了   while sum < 10000 :     if sum < len(seds):          r = requests.get(seds[sum])          sum = sum + 1          do_save_action(r)          soup = BeautifulSoup(r.content)               
         urls = soup.find_all("href",.....)                     //解析网页          for url in urls:               seds.append(url)  
    else:          break

• 1）我们的任务是爬取1万个网页，按上面这个程序，一个人在默默的爬取，假设爬起一个网页3秒钟，那么，爬一万个网页需要3万秒钟。MGD，我们应当考虑开启多个线程(池)去一起爬取，或者用分布式架构去并发的爬取网页。
• 2）种子URL和后续解析到的URL都放在一个列表里，我们应该设计一个更合理的数据结构来存放这些待爬取的URL才是，比如队列或者优先队列。
• 3）对各个网站的url，我们一视同仁，事实上，我们应当区别对待。大站好站优先原则应当予以考虑。
• 4）每次发起请求，我们都是根据url发起请求，而这个过程中会牵涉到DNS解析，将url转换成ip地址。一个网站通常由成千上万的URL，因此，我们可以考虑将这些网站域名的IP地址进行缓存，避免每次都发起DNS请求，费时费力。
• 5）解析到网页中的urls后，我们没有做任何去重处理，全部放入待爬取的列表中。事实上，可能有很多链接是重复的，我们做了很多重复劳动。
• 6）…..

网页爬虫及其用到的算法和数据结构

标签：style   http   color   io   os   ar   for   文件   数据   

原文地址：http://my.oschina.net/handsomeliu/blog/323562