码迷,mamicode.com
首页 > 编程语言 > 详细

Python Scrapy初步使用

时间:2016-12-08 02:34:12      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:toc   ide   images   技术分享   规则   定义数据   ...   items   money   

1、创建爬虫工程

scrapy startproject stockproject001

2、创建爬虫项目

cd stockproject001

scrapy genspider stockinfo quote.eastmoney.com

技术分享

 

3、定义数据项或数据字段

打开 items.py,输入:

 技术分享

 

4、定义爬取规则

打开stockinfo.py,输入:

 技术分享

 

5、定义数据处理管道

打开pipelines.py,输入:

 技术分享

 

6、启用爬虫项目

打开settings.py,修改:

技术分享

 

7、执行爬虫

scrapy crawl stockinfo --nolog

--nolog不看日志

 技术分享

.....................

 

Python Scrapy初步使用

标签:toc   ide   images   技术分享   规则   定义数据   ...   items   money   

原文地址:http://www.cnblogs.com/defineconst/p/6143199.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!