爬虫24-scrapy框架部署

标签：efault   from   进入   实现   项目   exe   split   pip   raw   

1.安装scrapy框架：pip install scrapy

2.使用cmd窗口命令创建项目：

①进入要创建项目的路径

②scrapy startproject qsbk(项目名)

③pycharm下打开刚才创建的项目

④修改settings下的ROBOTSTXT_OBEY=False

⑤再添加下面DEFAULT_REQUEST_HEADERS添加headers信息

⑥指定项目名文件下的start_url信息，改成要爬取的网页

⑦项目名下添加start文件，就是执行代码的主文件，如下:

from scrapy import cmdline
cmdline.execute("scrapy crawl qsbk_spider".split())

⑧在QsbkSpiderSpider类中实现要爬取的功能

爬虫24-scrapy框架部署

标签：efault   from   进入   实现   项目   exe   split   pip   raw   

原文地址：https://www.cnblogs.com/wcyMiracle/p/12500111.html