码迷,mamicode.com
首页 > 其他好文 > 详细

爬百度100次

时间:2018-02-28 22:49:39      阅读:150      评论:0      收藏:0      [点我收藏+]

标签:time()   .com   stat   class   爬虫框架   enc   raise   pre   i+1   

 1 import requests
 2 import time
 3  
 4 def getHTMLText(url):
 5     try:
 6         r= requests.get(url, timeout= 20)  
 7         r.raise_for_status() 
 8         r.encoding= r.apparent_encoding
 9         return r.text
10     except:
11         return "异常退出"
12  
13 def main():
14     url = "https://www.baidu.com"
15     start= time.time()
16     for i in range(100):
17         getHTMLText(url)
18         print(第%d次成功%(i+1))
19         
20     end= time.time()
21     print("爬取用时为: ", (end- start), "") 
22  
23 if __name__ == "__main__":  
24     main()  

基本爬虫框架,注意raise_fo_status与try,except的配合使用,方便检查错误

爬百度100次

标签:time()   .com   stat   class   爬虫框架   enc   raise   pre   i+1   

原文地址:https://www.cnblogs.com/kangdong/p/8485863.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!