码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫【scrapy】命令行基本用法

时间:2019-01-13 22:22:26      阅读:258      评论:0      收藏:0      [点我收藏+]

标签:分享   ipy   gen   版本   shel   alt   一个   终端   enc   

1.创建一个新项目:

scrapy startproject myproject

 

2.在新项目中创建一个新的spider文件:

scrapy genspider mydomain mydomain.com

mydomain为spider文件名,mydomain.com为爬取网站域名

 

3.全局命令:

技术分享图片
startproject
genspider
settings
runspider
shell
fetch
view
version
技术分享图片

 

4.只在项目中使用的命令(局部命令):

技术分享图片
crawl
check
list
edit
parse
bench
技术分享图片

 

5.运行spider文件:

scrapy crawl <spider>

 

5.1 运行spider文件 不显示日志

 

scrapy crawl <spider> --nolog

 

 

6.检查spider文件有无语法错误:

scrapy check

 

7.列出spider路径下的spider文件:

scrapy list

 

8.编辑spider文件:

scrapy edit <spider>

相当于打开vim模式,实际并不好用,在IDE中编辑更为合适。

 

9.将网页内容下载下来,然后在终端打印当前返回的内容,相当于 request 和 urllib 方法:

scrapy fetch <url>

 

10.将网页内容保存下来,并在浏览器中打开当前网页内容,直观呈现要爬取网页的内容: 

scrapy view <url>

 

11.打开 scrapy 显示台,类似ipython,可以用来做测试:

scrapy shell [url]

 

12.输出格式化内容:

scrapy parse <url> [options]

 

13.返回系统设置信息:

scrapy settings [options]

如:

$ scrapy settings --get BOT_NAME
scrapybot

 

14.运行spider:

scrapy runspider <spider_file.py>

 

15.显示scrapy版本:

scrapy version [-v]

后面加 -v 可以显示scrapy依赖库的版本

 

16.测试电脑当前爬取速度性能:

scrapy bench

  

爬虫【scrapy】命令行基本用法

标签:分享   ipy   gen   版本   shel   alt   一个   终端   enc   

原文地址:https://www.cnblogs.com/tangkaishou/p/10264146.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!