码迷,mamicode.com
首页 > 编程语言 > 详细

Python之Scrapy安装

时间:2019-12-15 10:43:00      阅读:64      评论:0      收藏:0      [点我收藏+]

标签:mamicode   轻量   检测   怎么   需要   系统   今天   表示   图片   

Scrapy框架是目前Python中最受欢迎的爬虫框架之一,所以今天就来具体了解一下Scrapy框架。

什么是Scrapy框架?

Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取的python爬虫框架

Scrapy的用途:

Scrapy用途非常广泛,主要用于抓取特定web站点的信息并从中提取特定结构的数据,除此之外,还可用于数据挖掘、监测、自动化测试、信息处理和历史片段(历史记录)打包等

了解完Scrapy框架后,我们就来看看怎么安装和使用吧。

安装Scrapy

安装方法有两种:

1. 如果你电脑上有Anaconda的话,可以使用这种方法

windows+r >>> cmd >>> conda install scrapy >>> 回车

                                                                                    技术图片

2.第二种方法使用pip安装,不过你需要先下载Twisted插件

下载地址:https://www.lfd.uci.edu/~gohlke /pythonlibs/#twisted

(1)点击下载地址,进入后按 ctrl+f ,搜索twisted,然后下载对应版本

cp27:表示python2.7版本 cp36:表示python3.6版本

win32:表示Windows32位操作系统

技术图片

(2)下载完成后进入终端,输入pip installTwisted-18.7.0-cp36-cp36m-win32.whl

Twisted-18.7.0-cp36-cp36m-win32.whl:文件名(你下载哪个文件就输入哪个文件的文件名,要输入全部路径)

安装完成后再输入pip install scrapy,回车

 

检测scrapy安装是否成功:在终端输入scrapy,出现以下内容就代表安装成功

技术图片

 

 

 

 

Python之Scrapy安装

标签:mamicode   轻量   检测   怎么   需要   系统   今天   表示   图片   

原文地址:https://www.cnblogs.com/c1q2s3/p/12041879.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!