码迷,mamicode.com
首页 > 其他好文 > 详细

Scrapy中怎么传递用户自定义的参数到爬虫文件所在的类中呢?

时间:2019-07-12 18:58:15      阅读:142      评论:0      收藏:0      [点我收藏+]

标签:crawl   爬虫   div   domain   response   问题:   ini   应该   __init__   

问题:

  我试图将用户定义的参数传递给scrapy的爬虫文件。我知道应该使用  -a  参数 但是我对于这个参数不是太明白?

 

  想要通过crawl命令行命令传入自定义参数应该使用-a选项,例如:

scrapy crawl myspider -a category=electronics -a domain=system

  爬虫可以将参数以属性的方式传递进来:

class MySpider(scrapy.Spider):
    name = ‘myspider‘

    def __init__(self, category=‘‘, **kwargs):
        self.start_urls = [f‘http://www.example.com/{category}‘]  # py36
        super().__init__(**kwargs)  # python3

    def parse(self, response)
        self.log(self.domain)  # system

  

 

Scrapy中怎么传递用户自定义的参数到爬虫文件所在的类中呢?

标签:crawl   爬虫   div   domain   response   问题:   ini   应该   __init__   

原文地址:https://www.cnblogs.com/renshaoqi/p/11177672.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!