Python 爬虫开发之xpath使用

时间：2018-10-19 17:44:36 阅读：145 评论：0 收藏：0 [点我收藏+]

标签：link strong tree header 利用相对 string href 5.5

在进行爬虫开发中，需要的页面信息进行解析处理，获取到需要的关键数据。可以利用xpath进行对页面的xml文件进行解析处理，获取到需要的关键数据。
XPath使用:
XPath 可用来在 XML 文档中对元素和属性进行遍历.
from lxml import etree
import urllib2
req = urllib2.Request(url)
req.add_header(‘User-Agent‘, ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘)
web_info = urllib2.urlopen(req).read()
html = etree.HTML(web_info)
result = etree.tostring(html) #tostring 是补全缺失的html标签
html_data = result.xpath(‘/html/body/div/ul/li/a/text()‘) 获取某个标签的数据，返回的是对象，可以通过遍历得到具体的数据
html_data = html.xpath(‘/html/body/div/ul/li/a/@href‘) 获取某个标签的属性 获取属性值用@
html_data = html.xpath(‘/html/body/div/ul/li/a[@href="link2.html"]/text()‘) 获取a表现属性为link2.html的内容
html_data = html.xpath(‘//li/a/text()‘) 使用相对路径获取a标签的内容
html_data = html.xpath(‘//li/a//@href‘) 使用相对路径获取a标签的属性值

Python 爬虫开发之xpath使用

标签：link strong tree header 利用相对 string href 5.5

原文地址：http://blog.51cto.com/weadyweady/2306595

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行