xpath解析

from lxml import etree
import requests
url = ‘http://www.shicimingju.com/book/sanguoyanyi.html‘
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Mobile Safari/537.36‘
}
"""
使用lxml.etree.parse()解析html文件，该方法默认使用的是“XML”解析器，所以如果碰到不规范的html文件时就会解析错误，报错代码如下：

lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 3 and head, line 3, column 87

解决办法：
自己创建html解析器，增加parser参数
parser = etree.HTMLParser(encoding="utf-8")
"""
parser = etree.HTMLParser(encoding="utf-8")
tree = etree.parse(‘test.html‘,parser=parser)
print(tree.xpath(‘/html/body/div‘))
# /表示从根节点开始定位 一个/表示一个层级
print(tree.xpath(‘/html//div‘))
print(tree.xpath(‘//div‘)) #任意位置定位
#属性定位 div[@attrName = ‘attrvalue‘]
print(tree.xpath(‘//div[@class="poem"]‘)) #class为poem的div
#索引定位 从1开始索引
print(tree.xpath(‘//li[3]‘))
#取文本 取属性：
print(tree.xpath(‘//span/text()‘)) #返回列表  /text()直系文本内容 //text()所有文本内容
print(tree.xpath("//div[@class=‘poem‘]/a/@href"))  #/@属性名称 ==》取属性值