标签:err 字符 logs 格式 爬取图片 返回 字符串 doctype ext
最近学习到了爬虫,瞬时觉得很高大上,想取什么就取什么,感觉要上天。这里分享一个简单的爬取汽车之家文章列表的图片教程,供大家学习。
本次爬虫脚本依赖两个模块:requests模块,BeautifulSoup模块。其中requests模块完成url的请求,而BeautifulSoup模块负责解析Html标签。
requests.get(url) 向URL发起GET请求
requests.post(url) 向URL发起POST请求
>>> import requests >>> response = requests.get(‘https://www.baidu.com‘) >>> print(response.text) <!DOCTYPE html> <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=styleshee ...... ...... </body> </html> # 上面为页面信息 >>>
可以看到response是服务端返回的信息:在requests内部也被封装成了一个对象,它具有的方法:有response.text,response.content,response.encode
标签:err 字符 logs 格式 爬取图片 返回 字符串 doctype ext
原文地址:http://www.cnblogs.com/dachenzi/p/7699588.html