码迷,mamicode.com
首页 > 编程语言 > 详细

在python获取网页的代码中添加头信息模拟浏览器

时间:2019-11-17 14:36:36      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:pre   safari   add   url   信息   lib   opener   htm   利用   

方法1:使用build_opener()来添加

import urllib2
url = "https://www.baidu.com"
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
opener = urllib2.build_opener()
opener.addheaders = [headers]
file = opener.open(url)
html = file.read()
print html

方法2:利用add_header()来添加

import urllib2
url = "https://blog.51cto.com/lsfandlinux/2046467"
req = urllib2.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
file = urllib2.urlopen(req)
html = file.read()
print html

  

在python获取网页的代码中添加头信息模拟浏览器

标签:pre   safari   add   url   信息   lib   opener   htm   利用   

原文地址:https://www.cnblogs.com/lanxy/p/11876049.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!