码迷,mamicode.com
首页 > 其他好文 > 详细

反爬虫机制----伪装User-Agent之fake-useragent

时间:2020-01-04 14:35:05      阅读:99      评论:0      收藏:0      [点我收藏+]

标签:安装   nbsp   地址   net   article   --   row   ref   art   

今天首先讲解反爬机制的伪装User-Agent

第一种:在cmd命令行里用pip安装fake_useragent

pip install fake-useragent

使用方法:

    from fake_useragent import UserAgent
    import random
     
    fake_ua=UserAgent() # 构建UserAgent()对象
    headers = {‘User-Agent‘:fake_ua.random} #用random来随机取得用户代理。

获取各浏览器的fake-useragent

    from fake_useragent import UserAgent
    ua = UserAgent()
    #ie浏览器的user agent
    print(ua.ie)
     
    #opera浏览器
    print(ua.opera)
     
    #chrome浏览器
    print(ua.chrome)
     
    #firefox浏览器
    print(ua.firefox)
     
    #safri浏览器
    print(ua.safari)
     
    #最常用的方式
    #写爬虫最实用的是可以随意变换headers,一定要有随机性。支持随机生成请求头
    print(ua.random)
    print(ua.random)
    print(ua.random)

 

第二种:百度搜索网上有很多,将其复制一些使用

附:

如何查看fake-useragent的版本?

有两种方法

第一种:

百度   pypi fake-useragent查看目前的版本,因为版本更新后有点没有数据

查到版本号,在地址栏中输入https://fake-useragent.herokuapp.com/browsers/版本号  比如现在最新的是:https://fake-useragent.herokuapp.com/browsers/0.1.11

就会看到所有的useragent,如图:

第二种:

在python中你安装fake-useragent时,进入python,使用命令pip list可以查看对应的版本
————————————————

原文链接:https://blog.csdn.net/ITYTI/article/details/83757118

反爬虫机制----伪装User-Agent之fake-useragent

标签:安装   nbsp   地址   net   article   --   row   ref   art   

原文地址:https://www.cnblogs.com/yidanda888/p/12148687.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!