码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫:scrapy自定义item

时间:2020-05-07 18:11:01      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:news   elf   lin   highlight   text   ike   rap   for   自定义item   

items.py

class LianhezaobaospyderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # pass
    body=scrapy.Field()
    link=scrapy.Field()

爬虫.py

from .. import items

def parse_news(self,response):
    item=items.LianhezaobaospyderItem()                
    item[body]=response.xpath("//div[@class=‘xx‘]/text()").get()
    item[link]=response.url
    yield item    

item和字典类似,数据量大时,字典可能键值对错误

python爬虫:scrapy自定义item

标签:news   elf   lin   highlight   text   ike   rap   for   自定义item   

原文地址:https://www.cnblogs.com/hightech/p/12844630.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!