快速学习网页爬虫之python

标签：就是   方法   end   proxy   简单的   get   sea   浏览器   html   

1.首先获取网页内容的方法
html = requests.get(url,headers = headers,proxies= proxys) #header 指模拟浏览器头，proxys代理IP，requests指Python获取内容的对象

2.这样一句话就可以快速获取网页内容了，获取到了网页内容，我们还需要进行抓取我们想要的内容，如果title
html = html.text #获取到内容
title = re.search(‘%s(.*?)%s‘%(title_begin,title_end),res,re.S).group(1) #re指python正则的对象
3.这就是最简单的爬虫了

快速学习网页爬虫之python

标签：就是   方法   end   proxy   简单的   get   sea   浏览器   html   

原文地址：https://www.cnblogs.com/feimengv/p/10626469.html