码迷,mamicode.com
首页 > 其他好文 > 详细

Scrapy简介

时间:2019-10-28 01:01:38      阅读:89      评论:0      收藏:0      [点我收藏+]

标签:抓取   info   资源下载   request   png   start   取出   lines   ESS   

一、架构图

技术图片

二、流程

1、引擎从调度器中取出一个URL,用于抓取

2、引擎把URL封装成一个请求(start_requests) 传递给下载器

3、下载器把资源下载下来,并封装成Response

4、爬虫解析(parse) Response

5、解析出实体(yield Item),交给pipelines中的process_item方法

6、解析出URL(yield Response),则把URL交给调度器等待抓取

 

Scrapy简介

标签:抓取   info   资源下载   request   png   start   取出   lines   ESS   

原文地址:https://www.cnblogs.com/wt7018/p/11749856.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!