码迷,mamicode.com
首页 > Web开发 > 详细

requests模块和urllib模块爬取图片

时间:2020-06-09 12:50:32      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:就是   gen   res   不同   方式   爬取图片   不可   chrome   返回   

requests模块和urllib模块爬取图片

requests模块

import requests

headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36‘
}

# 方式1:
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘

img_data = requests.get(url=url, headers=headers).content  # content返回的是byte类型的数据

with open(‘./123.jpg‘, ‘wb‘) as fp:
    fp.write(img_data)

使用urllib模块

urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib

直接写入文本,内部帮我们写文件

#方式2:
from urllib import request
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘
request.urlretrieve(url,‘./456.jpg‘)

区别

方式1和方式2对于图片数据爬取的操作最大的不同之处是在哪?

方式2不可以使用UA伪装的机制

requests模块和urllib模块爬取图片

标签:就是   gen   res   不同   方式   爬取图片   不可   chrome   返回   

原文地址:https://www.cnblogs.com/Hedger-Lee/p/13071817.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!