码迷,mamicode.com
首页 > 其他好文 > 详细

在Pycharm中运行Scrapy爬虫项目的基本操作

时间:2018-01-29 20:18:00      阅读:547      评论:0      收藏:0      [点我收藏+]

标签:运行   pos   local   爬虫   template   visual   操作   post   rap   

目标在Win7上建立一个Scrapy爬虫项目,以及对其进行基本操作。运行环境:电脑上已经安装了python(环境变量path已经设置好),

以及scrapy模块,IDE为Pycharm 。操作如下:

 

  一、建立Scrapy模板。进入自己的工作目录,shift + 鼠标右键进入命令行模式,在命令行模式下, 

输入scrapy startproject 项目名 ,如下:

技术分享图片

看到以上的代码说明项目已经在工作目录中建好了。

 

  二、在Pycharm中scrapy的导入。在Pycharm中打开工作目录中的TestDemo,点击File-> Settings->Project: TestDemo->Project Interpreter。

法一: 如图,

技术分享图片

选择红框中右边的下拉菜单点击Show All, 如图:

技术分享图片

点击右上角加号,如图:

技术分享图片

在红色框体内找到电脑里已经安装的python,比如我的是:

C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 导入即可。

之后,pycharm会自动导入你已经在电脑上安装的scrapy等模块。如图,即红色框体中显示的。

技术分享图片

法二:一个不那么麻烦的方法。如图:

技术分享图片

点击红色框体,在弹出的框体内另安装一个scrapy, 如图:

 技术分享图片

需要安装的模块,如图:

技术分享图片

模块自下而上进行安装,其中可能出现twisted包不能成功安装,出现

Failed building wheel for Twisted

Microsoft Visual C++ 14.0 is required...

的现象,那就搜一解决方案,这里不多说了。

 

三、Pycharm中scrapy的运行设置。

   法一:Scrapy爬虫的运行需要到命令行下运行,在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行,默认

是在项目目录下的,要运行项目,需要进入下一层目录,使用cd TestDemo 进入下一层目录,然后用scrapy crawl 爬虫名 , 即可运行爬虫。

如图:

技术分享图片

技术分享图片

  法二:在TestDemoSpider目录和scrapy.cfg同级目录下面,新建一个entrypoint.py文件,如图:

技术分享图片

其中只需把红色框体内的内容改成相应的爬虫的名字就可以在不同的爬虫项目中使用了,直接运行该文件就能使得Scrapy爬虫运行

 

Tips:在创建爬虫时使用模板更加方便一些,如:

 scrapy genspider [-t template] <name> <domain>   即:scrapy genspider testDemoSpider baidu.com

在Pycharm中运行Scrapy爬虫项目的基本操作

标签:运行   pos   local   爬虫   template   visual   操作   post   rap   

原文地址:https://www.cnblogs.com/llssx/p/8378832.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!