码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫之如何随机更换User-Agent

时间:2018-08-09 00:26:43      阅读:215      评论:0      收藏:0      [点我收藏+]

标签:pip   注意   就会   安装   port   useragent   使用方法   python爬虫   封ip   

这是python里面的一个useragent池,非常好用!具体怎么用呢?

首先,安装fake-useragent

    pip install fake-useragent

然后,使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {‘User-Agent‘:ua.random}

注意,有些网站可能会根据user-agent来封IP,也就是说他们会根据同一个IP下,如果是很多个不同user-agent在访问,那么,此时,他们就会判定为爬虫

python爬虫之如何随机更换User-Agent

标签:pip   注意   就会   安装   port   useragent   使用方法   python爬虫   封ip   

原文地址:https://www.cnblogs.com/ittop/p/9446391.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!