码迷,mamicode.com
首页 > 其他好文 > 详细

xpath的|

时间:2019-08-25 21:37:05      阅读:78      评论:0      收藏:0      [点我收藏+]

标签:htm   for   res   print   get   name   class   agent   xpath   

xpath的|

相当与交集

本爬虫爬取的是热门城市和全国城市,但是由于爬取的规则不同,所以在同一个xpath中使用了两种规则

import requests
from lxml import etree

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

def work():
    url='https://www.aqistudy.cn/historydata/'
    res=requests.get(url=url,headers=headers).text
    tree=etree.HTML(res)
    #xpath特殊用法|并集
    a_s=tree.xpath("//div[@class='bottom']/ul/li/a | //div[@class='bottom']/ul/div[2]/li/a")

    for i in a_s:
        city_name = i.xpath("./text()")[0]
        print(city_name)
    print(len(a_s))

if __name__ == '__main__':
    work()

xpath的|

标签:htm   for   res   print   get   name   class   agent   xpath   

原文地址:https://www.cnblogs.com/zx125/p/11409448.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!