python Scrapy库学习

标签：project   shell   域名   start   数据   text   网页   rtp   ide   

1生成项目：生成项目文件夹

scrapy startproject 项目名

2生成爬虫文件

scrapy genspider 爬虫名 指定域名

3进入items文件可以输入自己想要爬取的内容比如

text = scrapy.Field()
author = scrapy.Field()
tags = scrapy.Field()
4scrpapy shell 指定的网页地址

这样就可以在shell里面测试是否成功抓取元素

5启动一个爬虫项目

scrapy crawl 爬虫名(2里面填的爬虫名字)

6数据保存

scrapy crawl -o 文件名

python Scrapy库学习

标签：project   shell   域名   start   数据   text   网页   rtp   ide   

原文地址：http://www.cnblogs.com/daibigmonster/p/7977364.html