1.anaconda3安装 wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh 安装报错，可能是源的问题 直接在windows上下载anaconda3包，然后rz到centos上 地址：https://ww ...
分类：
其他好文 时间：
2019-06-03 22:19:52
阅读次数：
133
scrapy安装需要一个异步模块Twisted，这个模块得自己手动安装 Twisted下载地址：https://blog.csdn.net/coco56/article/details/82145425 如果自己是python 37 -64位，可以下载这个网盘的文件 按需求选取 pycharm 安装 ...
分类：
其他好文 时间：
2019-05-26 15:38:58
阅读次数：
86
真的是各种坑啊，哎 安装显示 Building wheel for twisted (setup.py) ... error 解决方法： https://askubuntu.com/questions/966939/failed-building-wheel-for-twisted 退出虚拟环境，然 ...
分类：
其他好文 时间：
2019-05-26 00:26:31
阅读次数：
139
1. 安装Splash： 1. 安装docker 2. docker拉取Splash镜像： 3. 启动Splash： 2. 安装并配置scrapy splash：https://github.com/scrapy plugins/scrapy splash 在settings.py中增加： 3. S ...
分类：
其他好文 时间：
2019-05-01 22:33:04
阅读次数：
172
每天10分钟，解决一个研发问题。 如果你想了解我在做什么，请看《做一个有产品思维的研发：课程大纲》传送门：https://www.cnblogs.com/hunttown/p/10490965.html 今天我们说一下Scrapy爬虫： Scrapy 在 Python 2.7 和 Python 3. ...
分类：
其他好文 时间：
2019-04-28 09:27:05
阅读次数：
161
1. wheel pip install wheel 2. lxml http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 3. PyOpenssl https://pypi.python.org/pypi/pyOpenSSL#downloads 4. Tw ...
分类：
其他好文 时间：
2019-02-10 00:11:47
阅读次数：
217
安装顺序 scrapy 需要的依赖很多。首先需要 twisted 如果没有这个 直接安装 scrapy 会报错 要求你安装一个 vis 14 还是什么的环境，那个东西如果真的要装要 6g 但是用 twisted 可以绕过，因此需要先把 twisted 装上 ，但是 twisted 的安装不支持 pi ...
分类：
编程语言 时间：
2019-01-25 15:08:05
阅读次数：
195
1.scrapy的安装 -前提，最好用virtualenv 创建的虚拟环境安装 -windows -官方推荐用anaconda -自定已安装 -1.https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的twisted ，注意python的版本和32/64 ...
分类：
其他好文 时间：
2019-01-21 12:08:38
阅读次数：
153
这几天，很多朋友在群里问Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。 Scrapy是Python网络爬虫的一个框架，十分好用，深得大家的青睐，其工作原理，在在此就不赘述了。 1、正常我们在P ...
什么是Scrapy 安装 基础使用 1.创建项目：scrapy startproject 项目名称 项目结构： project_name/ scrapy.cfg： project_name/ __init__.py items.py pipelines.py settings.py spiders/ ...
分类：
其他好文 时间：
2019-01-11 22:16:53
阅读次数：
173
