码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy

时间:2019-06-03 21:32:55      阅读:91      评论:0      收藏:0      [点我收藏+]

标签:gen   pat   基于   com   持久化存储   功能   pre   项目   ted   

- scrapy:爬虫框架。异步爬取,高性能的数据解析+持久化存储操作,
- 框架:集成了很多功能且具有很强通用性的一个项目模板
- 如何学习框架:
- 学习框架的功能模块的具体使用。

- 环境的安装:
a. pip3 install wheel

b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

c. 进入下载目录,执行 pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl

d. pip3 install pywin32

e. pip3 install scrapy

- 使用流程:
- 创建一个工程:scrapy startproject firstBlood
- cd firstBlood
- 创建爬虫文件:scrapy genspider first www.xxx.com
- 执行:scrapy crawl first

- 持久化存储:
- 基于终端指令:scrapy crawl qiubai -o filePath.csv
- 好处:便捷
- 弊端:局限性强(只可以将数据写入本地文件,文件后缀是由具体要求)
- 基于管道:
- 基于持久化存储的所有操作都必须写入到管道文件的管道类中






scrapy

标签:gen   pat   基于   com   持久化存储   功能   pre   项目   ted   

原文地址:https://www.cnblogs.com/kevin-red-heart/p/10970098.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!