码迷,mamicode.com
首页 > Web开发 > 详细

网页解析库-Xpath语法

时间:2019-12-22 18:26:38      阅读:239      评论:0      收藏:0      [点我收藏+]

标签:mode   price   切片   head   osi   逻辑或   plain   计算   enc   

网页解析库

简介

除了正则表达式外,还有其他方便快捷的页面解析工具

如:lxml (xpath语法) bs4 pyquery等

Xpath 全称XML Path Language, 即XML路径语言,是一门在XML文档中查找信息的语言,同样也适用于HTML文档的搜索。

爬虫 我们需要抓取的只是某个网站或者应用的一部分内容

结构化 先有结构 再有数据 转化为字典处理(如:json => dict)

非结构化 html 正则 lxml bs4等去解析

 

安装:

pip install beautifulsoup4 -i https://pypi.doubanio.com/simple

pip install lxml [-i https://pypi.doubanio.com/simple]

 

Xpath术语

在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

 

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

参考网站:

 

最常用的xpath表达式:

表达式描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点。从整个文档中搜索,不考虑位置
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
[] 包含某个指定的值/属性的节点 eg: li[1] div[@id="xx"]
text() 获取文本, 返回的是列表
string(pattern) string()获取某个节点下所有的文本; 若是具体某一个标签, 那么即便是该文档有多个这样的标签, string只会获取第一个标签的文本内容。

 

 # 获取下一页按钮的链接
 html.xpath(‘//a[text()="下一页"]/@href‘) # 可以实现翻页
 ?
 # 模糊匹配
 //div[contains(@class, "note")] # contains方法 包含
 ?
 # 匹配开头
 starts_with()
 ?
 # 匹配结尾
 end_with()

 

演示

 import requests
 from lxml import etree
 ?
 resp = requests.get(‘https://image.baidu.com‘)
 ?
 html = etree.HTML(resp.text) # def HTML(text, parser=None, base_url=None):
 ?
 res = html.xpath("/html/body/div//a/text()") # / 从跟节点开始匹配到div下a标签的子孙节点下的文本
 html.xpath("//li/a/text()") # // 代表从文档的任何一个位置(节点)开始
 ?
 # 注意xpath中位置对象的获取:/li[1]:第一个,li[last()]最后一个,li[last()-1]倒数第二个
 html.xpath("//ul/li[2]/a/@href")
 ?
 # 选择最后一个li对象的class属性
 print(html.xpath("//ul/li[last()]/@class"))
 ?
 # string: 获取表达式下的所有文本信息 一定和text的区别
 print(html.xpath("//div/text()"))   # 直接子节点,文本信息
 ?
 # 若是具体某一个标签, 那么即便是该文档有多个这样的标签, string只会获取第一个标签的文本内容
 print(repr(html.xpath("string(//div/ul/li/a)")))

 

谓语(Predicates)

谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。

实例
路径表达式结果
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng‘] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

 

属性多值匹配【contains()函数】

模糊匹配,只要包含该属性的都会匹配

第一个参数传入属性名称,第二个参数传入属性值

 from lxml import etree
 ?
 text = """
 <li class=‘li li-first‘><a href=‘link1.html‘>first item</a></li>
 <li class=‘li li-seconde‘><a href=‘link2.html‘>seconde item</a></li>
 """
 html = etree.HTML(text)
 result = html.xpath(‘//li[contains(@class, "li")]/a/text()‘) # 包含class属性 li
 print(result)
 ?

xpath还支持运算符,如and or + - 等

 selector.xpath(‘//input[@id="info" and @name="username"]‘)
 ?
 # | 多个表达式匹配;| 代表逻辑或, 当我匹配的时候符合a表达式或b表达式的数据都会匹配
 html.xpath("//li/a[@href=‘link5.html‘]/text() | //li/a[@href=‘link2.html‘]/text()")

 

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符描述
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

xpath匹配到会返回一个列表类型,支持索引、切片、遍历

 

XPath 轴

轴可定义相对于当前节点的节点集。

轴名称结果
ancestor 选取当前节点的所有先辈(父、祖父等)。
ancestor-or-self 选取当前节点的所有先辈(父、祖父等)以及当前节点本身。
attribute 选取当前节点的所有属性。
child 选取当前节点的所有子元素。
descendant 选取当前节点的所有后代元素(子、孙等)。
descendant-or-self 选取当前节点的所有后代元素(子、孙等)以及当前节点本身。
following 选取文档中当前节点的结束标签之后的所有节点。
namespace 选取当前节点的所有命名空间节点。
parent 选取当前节点的父节点。
preceding 选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling 选取当前节点之前的所有同级节点。
self 选取当前节点。

实例

例子结果
child::book 选取所有属于当前节点的子元素的 book 节点。
attribute::lang 选取当前节点的 lang 属性。
child::* 选取当前节点的所有子元素。
attribute::* 选取当前节点的所有属性。
child::text() 选取当前节点的所有文本子节点。
child::node() 选取当前节点的所有子节点。
descendant::book 选取当前节点的所有 book 后代。
ancestor::book 选择当前节点的所有 book 先辈。
ancestor-or-self::book 选取当前节点的所有 book 先辈以及当前节点(如果此节点是 book 节点)
child::*/child::price 选取当前节点的所有 price 孙节点。

 

XPath 运算符

下面列出了可用在 XPath 表达式中的运算符:

运算符描述实例返回值
| 计算两个节点集 //book | //cd 返回所有拥有 book 和 cd 元素的节点集
+ 加法 6 + 4 10
- 减法 6 - 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等于 price=9.80 如果 price 是 9.80,则返回 true。如果 price 是 9.90,则返回 false。
!= 不等于 price!=9.80 如果 price 是 9.90,则返回 true。如果 price 是 9.80,则返回 false。
< 小于 price<9.80 如果 price 是 9.00,则返回 true。如果 price 是 9.90,则返回 false。
<= 小于或等于 price<=9.80 如果 price 是 9.00,则返回 true。如果 price 是 9.90,则返回 false。
> 大于 price>9.80 如果 price 是 9.90,则返回 true。如果 price 是 9.80,则返回 false。
>= 大于或等于 price>=9.80 如果 price 是 9.90,则返回 true。如果 price 是 9.70,则返回 false。
or price=9.80 or price=9.70 如果 price 是 9.80,则返回 true。如果 price 是 9.50,则返回 false。
and price>9.00 and price<9.90 如果 price 是 9.80,则返回 true。如果 price 是 8.50,则返回 false。
mod 计算除法的余数 5 mod 2 1

网页解析库-Xpath语法

标签:mode   price   切片   head   osi   逻辑或   plain   计算   enc   

原文地址:https://www.cnblogs.com/yelan5222/p/12080268.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!