码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy1.1命令

时间:2016-07-05 10:17:29      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

help:scrapy的基本命令,用于查看帮助信息

version:查看版本信息,可见-V参数查看各组件的版本信息;

技术分享

技术分享

 

startproject用于新建一个工程

技术分享

 

genspider:在工程中产生一个spider,可产生多个spider,不同的spider要求name不同。

 技术分享

 

list:此工程中都有哪些spider

技术分享

 

view:查看页面源码在浏览器中显示的样子

技术分享

会儿在浏览器中自动打开sina的首页,但是偶尔测试别的网址的时候,有打不开的情况,目前不知原因。

此函数可用来判断你要处理的某个页面,时候有你想要的内容

 

parse:使用在工程中定义的parse函数解析某个页面

技术分享

此函数用来判断你所使用的parse函数功能是否正确

 

shell:一个非常有用的命令,可用于调试数据、检测xpath、查看网页源码,等等。

技术分享

 

 技术分享

 

runspider:运行自包含的爬虫

scrapy runspider  xxxxspider.py

 

bench:运行一个基准的测试

scrapy bench

安装完scrapy之后,测试scrapy时候安装成功

技术分享

 

scrapy1.1命令

标签:

原文地址:http://www.cnblogs.com/flyinghorse/p/5642039.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!