码迷,mamicode.com
首页 > Web开发 > 详细

scrapy 修改URL爬取起始位置

时间:2017-05-10 14:56:04      阅读:180      评论:0      收藏:0      [点我收藏+]

标签:.com   span   for   imp   color   import   html   需要   path   

import scrapy
from Autopjt.items import myItem
from scrapy.http import Request

class AutospdSpider(scrapy.Spider):
    name = "fulong_spider"
    start_urls = [http://category.dangdang.com/pg1-cid4007379.html]
    url2 = (http://dangdang.com,http://jd.com,http://tianmao.com,)

    def start_requests(self):
        for url in self.url2:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        item = myItem()
        item[name] =response.xpath(/html/head/title/text()).extract()
        print(item[name])
需要重写start_requests方法

scrapy 修改URL爬取起始位置

标签:.com   span   for   imp   color   import   html   需要   path   

原文地址:http://www.cnblogs.com/Erick-L/p/6835433.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!