接着上次的python爬虫，今天进阶一哈，局部解析爬取网页数据

时间：2019-11-11 12:32:15 阅读：123 评论：0 收藏：0 [点我收藏+]

*解析网页数据的仓库

用Beatifulsoup基于lxml包
lxml包基于html和xml的标记语言的解析包。可以去解析网页的内容，把我们想要的提取出来。

第一步、导入两个包，项目中必须包含beautifulsoup4和lxml

第二步、先去获取网页的数据

def get_html():
    url="http://www.scetc.net"
    response=request.get(url)
    response.encoding="UTF-8"
    return response.text

第三步、导入Beautifulsoup对象
from bs4 import BeautifulSoup

第四步、解析网页内容
解析的方式文本格式就是：
标记#id或者.class,如果有层次标记则空格在后面加标记就可以了。
请注意一点就是select方法返回的肯定是列表，所以获取数据的时候需要遍历
技术图片

*下载网上的其他资源

案例就是下载图片资源：
res = requests.get(url+stu_id+".jpg", stream=True)
file=open(stu_id+".jpg",‘wb‘)
for chunk in res.iter_content(chunk_size=32):
file.write(chunk)
file.close()

接着上次的python爬虫，今天进阶一哈，局部解析爬取网页数据

标签：python 获取案例网页数据解析爬虫获取网页 image 第一步

原文地址：https://www.cnblogs.com/HYV587/p/11833876.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行