爬虫页面解析 lxml 简单教程

标签：strip   run   with   esc   www   子节点   price   nta   direct   

一、与字符串的相互转换

1.字符串转变为etree 对象

import lxml.html
tree = lxml.html.fromstring(content) # content 字符串对象

2.etree对象转变为字符串

from lxml import etree
content = etree.tostring(tree,encoding=‘utf-8‘)
data = content.decode(‘utf-8‘)

二、元素增删改

1.查看元素

etree._Element 是一个设计很精妙的结构，可以把他当做一个对象访问当前节点自身的文本节点，可以把他当做一个数组，元素就是他的子节点，可以把它当做一个字典，从而遍历他的属性

>>> root.text
‘root content‘ # 注意只是 root 自身的文本，并不包含子节点的文本
>>> root.tag # 标签
‘root‘
>>> root[0].tag # root 的第一个子元素的标签
‘foo‘
>>> foo = root[0] #  root 的第一个子元素
>>> for attr, val in foo.items(): 
...     print(attr, val)
...
id foo-id
class foo zoo
>>> foo.get(‘id‘) # 获取foo的id的属性值
‘foo-id‘
>>> foo.attrib # 获取foo的所有属性以及属性值
{‘class‘: ‘foo zoo‘, ‘id‘: ‘foo-id‘}

2.增加元素

找到要插入的位置，然后再插入，例如作为某个元素的子节点插入

import etree
root = etree.Element("root") # 找到root元素
root.append( etree.Element("child1") ) # 作为root的子元素插入
child2 = etree.SubElement(root, "child2") # 作为root的子元素插入
child3 = etree.SubElement(root, "child3") # 作为root的子元素插入

3.修改元素

增加属性

root[‘name‘] = "root"

修改属性

root[‘name‘] = "new_root"

.set(key, value=None):

root.set(‘name‘, "root"):

删除属性 

strip_attributes(tree_or_element, *attribute_names)

strip_attributes(root, ‘root‘)

修改元素文本值

root.text = "new_text"

4.删除元素

通过tag标签删除 strip_elements(tree_or_element, with_tail=True, *tag_names)

删除某一元素：找到其父节点，通过父节点删除子节点的方式删除

parent = node.getparent()
parent.remove(node)

删除元素的子节点

root.clear()

三、元素的父，子，同胞节点查找

1.元素的父节点 

root.getparent()

2.元素的子节点

root.getchildren()

3.元素的同胞节点

获取上一个位置同胞  el.getprevious()

获取下一个位置同胞  el.getnext()

4.获取etree的根节点 tree.getroot()

5 iter

.iterchildren() Element.iterchildren() iterates over the children of an element in either direction
.itersiblings()  Element.itersiblings() iterates over either the following or preceding siblings of an element
.iterancestors()  Element.iterancestors() iterates over the ancestors of an element (from parent to parent)

.iterdescendants() Element.iterdescendants() iterates over the descendants of an element

四、元素查询xpath路径选择器

1.根据元素属性

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

# 根据属性值模糊匹配
//a[contains(@class, “”)]

2.根据元素文本

# 等于值
//a[text()="文本"]
# 模糊匹配
//a[contains(text(),"文本")]

3.利用xpath轴

轴可定义相对于当前节点的节点集。

具体使用方法示例为：parent::div，即轴名称::标签名

五、重要的函数附表

https://www.runoob.com/xpath/xpath-tutorial.html

爬虫页面解析 lxml 简单教程

标签：strip   run   with   esc   www   子节点   price   nta   direct   

原文地址：https://www.cnblogs.com/qiu-hua/p/12731286.html