码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫模拟浏览器访问-User-Agent

时间:2019-12-27 09:33:42      阅读:277      评论:0      收藏:0      [点我收藏+]

标签:tco   返回   imp   服务器   数据   通过   字符   response   模拟浏览器访问   

模拟浏览器访问-User-Agent:

import urllib2

#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址发送请求,并返回服务器响应的类文件对象
#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:
response = urllib2.urlopen(request)



#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容,返回字符串
html = response.read()

#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题
print response.getcode()

#返回实际数据的实际URL,防止重定向问题
print response.geturl()

#返回服务器响应的HTTP报头
print response.info()


#打印响应内容
print(html)

python爬虫模拟浏览器访问-User-Agent

标签:tco   返回   imp   服务器   数据   通过   字符   response   模拟浏览器访问   

原文地址:https://www.cnblogs.com/moongo/p/12105259.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!