码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy的Xpath表达式总结

时间:2018-09-19 21:51:18      阅读:156      评论:0      收藏:0      [点我收藏+]

标签:参考   title   def   dde   定位   常用   表达   爬取   包含   

我们在使用scrapy的时候,常常会用到xpath表达式,用过xpath你会觉得,哇,比正则简单呀!确实,xpath简单明了,但是并不代表xpath在scrapy里面会替代掉正则哦!

1.什么是xpath

   Xpath是一门在XML文档中查找信息的语言,可以对XML文档中的元素和属性使用路径表达式进行导航,Xpath包含一个标准函数库。

 

2.xpath常用标签

  / ------提取某个标签下的所有内容
  text() ------- 提取标签所包含的文本内容
  @ ---------- 提取标签属性的信息
  // ---------- 寻找所有的标签
  [@属性=值] ------ 定位标签
 
3.使用举例
  /html -----代表提取html标签内的所有内容
  /html/head/title -----代表提取title下面的所有信息
  //li ------ 代表提取所有的li标签
  //li[@class=‘hidden-xs‘] -------- 直接定位到满足条件的标签
  //li[@class=‘hidden-xs‘]/a/@heef ---------- 提取到class = hidden-cs的li标签下面的a标签的href的值
 
4.scrapy中使用xpath
  下面为大家提供一个参考方法(scrapy下写的一个爬虫方法),是用来爬取html页面的title标签内容和class=‘note’的div标签下的内容
def next(self,response):
title = response.xpath("/html/head/title/text()").extract()
note = response.xpath("//div[@class = ‘note‘]/text()").extract()
print(title)
print(note)
 

scrapy的Xpath表达式总结

标签:参考   title   def   dde   定位   常用   表达   爬取   包含   

原文地址:https://www.cnblogs.com/encp/p/9676691.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!