标签:open lib 百度 head header with bsp gen agent
上一个随笔中报错:
百度后,加上头部得以解决。
urllib.request.Request
功能:声明一个request对象。可自定义header等请求信息。
本次,加入一个更多参数的header。
# 导入urllib import urllib.request # 定义一个头部 headers = { ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36‘, ‘Referer‘:‘https://movie.douban.com/‘, ‘Connection‘: ‘keep-alive‘ } # 给url加头部 _url = urllib.request.Request(‘https://movie.douban.com/‘,headers=headers) # 打开url response = urllib.request.urlopen(_url, None, 10) # 读取返回的内容 html = response.read().decode(‘utf-8‘) # 写入txt with open(‘html‘,‘w‘,encoding=‘utf-8‘) as f: f.write(html)
标签:open lib 百度 head header with bsp gen agent
原文地址:https://www.cnblogs.com/lijunlin-py/p/14916399.html