标签：-o 控制 并发 延迟 选择器 llb ref 调度 log
import scrapy class StackOverflowSpider(scrapy.Spider): name="stackoverflow" start_urls=["http://stackoverflow.com/questions?sort=votes"] def parse(self,response): for href in response.css(‘.question-summary h3 a::attr(href)‘): #得到爬取的地址 full_url=response.urljoin(href.extract()) yield scrapy.Request(full_url,callback=self.parse_question) def parse_question(self,response): yield{ ‘title‘:response.css(‘h1 a::text‘).extract()[0], ‘votes‘:response.css(".question .vote-count-post::text").extract()[0], ‘body‘:response.css(".question .post-text").extract()[0], ‘tags‘:response.css(‘.question .post-tag::text‘).extract(), ‘link‘:response.url, }
命令行运行代码 scrapy runspider 文件名.py -o 存储文件名.csv
1.在xx.py文件中找到已定义的爬虫，然后通过抓取引擎运行爬虫
2.具体的抓取过程：
1）使用start_urls作为初始url生成Request，并默认把parse作为它的回调函数。
2）在parse中采用css选择器获得目标的URL，并注册parse_question作为目标URL的回调函数
背后的处理：
1.请求被异步的调度，处理。
2.有一些参数可以控制过程，比如每个域名/ip的并发请求数，请求直接的下载延迟（或者自动调节）
标签：-o 控制 并发 延迟 选择器 llb ref 调度 log
原文地址：http://www.cnblogs.com/zhengzhe/p/7767765.html
