scrapy工作流程

标签：员工   response   request   一个   小说   nbsp   ons   res   公司   

整个scrapy流程，我们可以用去超市取货的过程来比喻一下

两个采购员小王和小李开着采购车，来到一个大型商场采购公司月饼。到了商场之后，小李（spider）来到商场前台，找到服务台小花（引擎）并对她说，我们需要采购六楼五仁月饼店（url）。小花说好的，我给你填一个采购单（requests）,给小美（调度器）。小美收到后，说请稍等，我给你排上队了。到了之后，员工小张拿着采购单去店里把月饼给搬出来（response）交给采购员小李。采购员小李对同事小张（spider_parse），说你拆开之后，把月饼拿出来，给员工礼品盒里每个人放三份。箱子上有地址，说旁边的店也卖这种五仁月饼，你根据这个地址给我继续采购吧。

让我们用scrapy爬取定点网站上的小说吧：

scrapy工作流程

标签：员工   response   request   一个   小说   nbsp   ons   res   公司   

原文地址：https://www.cnblogs.com/chaojiyingxiong/p/9748364.html