码迷,mamicode.com
首页 > Web开发 > 详细

scrapy使用大坑---meta参数传递出现之重复问题

时间:2017-12-10 18:26:19      阅读:365      评论:0      收藏:0      [点我收藏+]

标签:img   数据   代码   分享图片   进入   调用   联合   结果   http   

问题描述:

    爬虫目标:

       实现哔哩哔哩网站的视频信息爬取,只要的信息结构爬去顺序为**关键词的搜索结果,拿到第一页上某个视频的标题,url,和时间,然后进入下级页面爬去该视频的对应的评论,回复,弹幕,点赞数等等数据,联合组成一个关于该视频的完整信息返回item进行后续处理和存储。

              问题点   :

       通过meta参数传值时出现在被调用的函数中meta参数多次重复,废话不多说代码贴图:技术分享图片

 

scrapy使用大坑---meta参数传递出现之重复问题

标签:img   数据   代码   分享图片   进入   调用   联合   结果   http   

原文地址:http://www.cnblogs.com/crawer-1/p/8017533.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!