码迷,mamicode.com
首页 > 其他好文 > 详细

用pyquery5行代码爬取百度热点新闻

时间:2020-03-06 21:48:32      阅读:68      评论:0      收藏:0      [点我收藏+]

标签:优先   image   简介   none   xpath   sel   第三方库   item   file   

 

导读:学习python爬虫很久了,一直习惯于requests抓取+xpath解析的两步走套路,直到我今天发现了pyquery这个爬虫利器后,才意识到python的世界没有最简,只有更简……

2020-03-06 21:22:12


 

01 pyquery简介

pyquery是Python的一个第三方爬虫库,仿照 jQuery实现,语法与js十分相像。如果有js基础,那么应用pyquery简直是平步青云。pyquery自带网页解析和信息提取功能,所以应用起来会非常简洁。

pyquery安装(要求cssselect和lxml库支持):

pip install pyquery

安装好pyquery包后,默认可在..\Python\Python37\Lib\site-packages目录下找到pyquery文件,主要包括5个.py文件,分别是pyquery.py、 opener.py、 cssselectpath.py、 text.py以及一个初始化文件__init__.py,其中pyquery是主应用模块,内部调用其他3个模块。在pyquery模块中,实现了多个类,其中PyQuery是主类,继承列表类(所以列表的所有接口PyQuery都可以调用)。如下命令获取其所有方法接口:

from pyquery import PyQuery as pq
dir(pq)

 

02 pq初始化

pyquery的初始化可接收4种格式的参数,分别是字符串类型、html、html文件地址以及需要请求的ur相关信息,尤其是支持请求url的初始化方式,大大简化了的爬虫代码实现。

  • 接收字符串
doc = pq("<html>hello, world</html>")
  • 接收html

doc = pq(etree.fromstring("<html>hello, world</html>")
  • 接收html文件地址

doc = pq(filename=path_to_html_file)
  • 接受URL及相关信息

这里具体讲解pyquery接收url相关信息的实现方式。查看pyquery初始化方法,其接收不定参数和字典参数如下:

def __init__(self, *args, **kwargs):
        html = None
        elements = []
        self._base_url = None
        self.parser = kwargs.pop(parser, None)

        if (len(args) >= 1 and
                isinstance(args[0], string_types) and
                args[0].split(://, 1)[0] in (http, https)):
            kwargs[url] = args[0]
            if len(args) >= 2:
                kwargs[data] = args[1]
            args = []
        pass

 

当接受参数满足:①参数个数大于等于1个、②第一个参数为字符串类型、③第一个参数可以解析为http或https格式,则提取url及其相关信息(如headers等)并赋值给字典参数kwargs,进行网页解析:

if kwargs:
    # specific case to get the dom
    if filename in kwargs:
        html = open(kwargs[filename])
    elif url in kwargs:
        url = kwargs.pop(url)
        if opener in kwargs:
            opener = kwargs.pop(opener)
            html = opener(url, **kwargs)
        else:
            html = url_opener(url, kwargs)
        if not self.parser:
            self.parser = html
        self._base_url = url
    else:
        raise ValueError(Invalid keyword arguments %s % kwargs)

 

当前一步提取的字典参数不为空,且包含"url"键值时则解析为需要进行网页请求。网页请求中当初始化参数中指定了解析器opener时,则调用指定解析器,否则使用pyquery自定义的url_opener方法进行解析。 进一步查看pyquery自定义的url_opener方法:

try:
    import requests
    HAS_REQUEST = True
except ImportError:
    HAS_REQUEST = False
--------------
def url_opener(url, kwargs):
    if HAS_REQUEST:
        return _requests(url, kwargs)
    return _urllib(url, kwargs)
--------------
def _requests(url, kwargs):
    encoding = kwargs.get(encoding)
    method = kwargs.get(method, get).lower()
    session = kwargs.get(session)
    if session:
        meth = getattr(session, str(method))
    else:
        meth = getattr(requests, str(method))
    pass
--------------
def _urllib(url, kwargs):
    method = kwargs.get(method)
    url, data = _query(url, method, kwargs)
    return urlopen(url, data, timeout=kwargs.get(timeout, DEFAULT_TIMEOUT))

至此,我们知道pyquery的自定义解析器采用如下规则:

    • 如果系统当前安装了requests库(第三方库,使用前需手动安装),则调用_requests方法,其中还根据初始化参数中是否指定了session来进一步区分

    • 否则,则调用urllib库(python自带的网页解析库)urlopen方法进行解析

 

可见,pyquery相当于会自动调用requests库或默认的urllib库进行网页解析,且以前者优先,并支持携带requests的session进行解析。

 

03 选择器

pyquery支持与CSS一致的选择器实现方法:

from pyquery import PyQuery as pq
html = ‘‘‘
    <div id="test">
        <ul class="c1">
            hello
            <link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
        </ul>
        <ul class="c2">
            world
            <link href="http://321.com">test</link>
            <link href="http://654.com">for</link>
            <link href="http://987.com">spider</link>
        </ul>
    </div>
‘‘‘
doc = pq(html)
print(type(doc))#<class ‘pyquery.pyquery.PyQuery‘>
print(doc("div#test>ul.c1 link"))
"""
<link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
"""

其中:

  • pyquery初始化后为PyQuery对象类型

  • pyquery使用字符串识别标签和CSS标识

  • 父标签和子标签间可以用>,也可以用空格

  • 可以通过属性选择特定标签,其中id用"#",class用"."

 

04 查找节点

pyquery可以很容易实现查找父类、子类、兄弟节点,主要方法如下:

  • find()选择所有满足条件的子节点
item=doc(".c1")
link = item.find(link)
print(link)
"""
<link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
            """
  • parents()选择父节点
item=doc(".c1")
p = item.parents()
print(p)
"""
<div id="test">
        <ul class="c1">
            hello
            <link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
        </ul>
        <ul class="c2">
            world
            <link href="http://321.com">test</link>
            <link href="http://654.com">for</link>
            <link href="http://987.com">spider</link>
        </ul>
    </div>
"""
  • children()选择子节点
item=doc(".c1")
c = item.children()
print(c)
"""
<link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
"""
  • siblings()选择兄弟节点
item=doc(".c1")
s = item.siblings()
print(s)
"""
<ul class="c2">
            world
            <link href="http://321.com">test</link>
            <link href="http://654.com">for</link>
            <link href="http://987.com">spider</link>
        </ul>
"""

 

05 获取信息

在完成选择节点的基础上,pyquery获取信息实现就非常简单。常用的方法如下:

  • items()获取所有匹配结果(返回一个生成器)
items=doc(".c1 link").items()
print(items)#<generator object PyQuery.items at 0x000001F124C23390>
  • attr()获取属性信息
for item in items:
    print(item.attr(href))
"""
http://123.com
http://456.com
http://789.com
"""
  • text()获取文本信息
for item in items:
    print(item.text())
"""
this
is
pyquery
"""
  • html()获取相应html文本
h = doc(ul).html()
print(h)
"""
hello
            <link href="http://123.com">this</link>
            <link href="http://456.com">is</link>
            <link href="http://789.com">pyquery</link>
"""

 

06 pyquery实战

了解了基本操作,我们就可以应用pyquery进行快速的网页爬取了。以百度热点新闻为例,进行简单的接口分析获得url后只需要5行代码就可以轻松获取40条搜索热点标题,简直不能比这更方便了!

from pyquery import PyQuery  as pq
doc = pq(url=http://top.baidu.com/buzz?b=1&fr=20811, encoding = gb18030)
items = doc("td.keyword>a.list-title").items()
hots = [item.text() for item in items]
print(hots)
# [‘春雨医生获投资‘, ‘肖战ins头像‘, ‘洛杉矶马拉松‘, ‘韦特斯加盟湖人‘, ‘甘薇弃优先分配权‘, ‘硕士研究生扩招‘, ‘毛剑卿退役‘, ‘皮亚琴察市长确诊‘, ‘67台ECMO发往湖北‘, ‘伊朗国家动员计划‘, ‘雷神山机器人上岗‘, ‘上海马拉松升级‘, ‘湖北人民免费看剧‘, ‘草地贪夜蛾入侵‘, ‘快女喻佳丽结婚‘, ‘惠普拒绝施乐收购‘, ‘汪曾祺百年诞辰‘, ‘美国对塔利班空袭‘, ‘鼓浪屿将恢复开放‘, ‘Faker2000杀‘, ‘小罗因假护照被捕‘, ‘杨蓉经纪公司声明‘, ‘库里复出23分‘, ‘英国确诊人数翻倍‘, ‘英国再现集装箱藏人案‘, ‘Facebook员工确诊‘, ‘普利兹克建筑奖‘, ‘卢浮宫重新开放‘, ‘史酷比狗预告‘, ‘黄子佼孟耿如结婚‘, ‘法国政府征用口罩‘, ‘76人vs湖人‘, ‘龙卷风袭击美国‘, ‘邓肯执教首胜‘, ‘英国首例死亡病例‘, ‘布隆伯格退出大选‘, ‘库里复出‘, ‘罗永浩宣布开直播‘, ‘湖人战胜76人‘, ‘热刺大将怒揍球迷‘]

 

技术图片

 

当然,为了实现反爬能力更强和更加高效的爬虫,可以在pyquery初始化时传入更多参数,例如headers、session和timeout等。

  

07 总结

  • pyquery是一个高度集成的python第三方爬虫库,方法众多、实现简洁

  • pyquery内置了网页解析,会首先尝试调用requests库,若当前未安装则调用python内置urllib库解析

  • pyquery解析提取采用类似CSS选择器的方式进行

  • pyquery支持简洁的节点选择、属性和文本提取操作

  • pyquery还有很多其他方法,包括节点操作、伪类选择器等,但爬虫一般不需要用到

 

用pyquery5行代码爬取百度热点新闻

标签:优先   image   简介   none   xpath   sel   第三方库   item   file   

原文地址:https://www.cnblogs.com/luanhz/p/12430948.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!