使用 Pip 安装，命令如下 pip install pyspider 命令执行完毕即可安装成功。 Windows 下可能会出现这样的错误提示：Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build- ...
分类：
其他好文 时间：
2018-04-01 21:57:30
阅读次数：
206
1.环境准备 前置环境部署 在开始部署前，我们需要做一些前置准备 。 yum 更新 等待时间较长 安装开发编译工具 安装依赖库 升级pip 2. 部署 mariadb 由于 CentOS 7 中 MySQL 数据库已从默认的程序列表中移除，我们使用 mariadb 代替。 安装 mariadb 启动 ...
分类：
其他好文 时间：
2018-03-31 00:50:39
阅读次数：
1256
pyspider 的内容选择器默认已经实例化一个pyquery对象，可以直接使用pyquery的api来获取自己需要的内容。 如果你英文基础好可以直接查看pyquery的官方文档。https://pythonhosted.org/pyquery/ 在pyspider中常用案例： 1.在pyquery ...
分类：
其他好文 时间：
2018-01-29 22:33:38
阅读次数：
222
之前接触scrapy本来是想也许scrapy能够让我的爬虫更快，但是也许是我没有掌握scrapy的要领，所以爬虫运行起来并没有我想象的那么快，看这篇文章就是之前使用scrapy的写得爬虫。然后昨天我又看到了pyspider，说实话本来只是想看看，但是没想到一看就让我喜欢上了pyspider。 先给大 ...
分类：
编程语言 时间：
2018-01-17 11:28:47
阅读次数：
210
前言 最近发现许多小伙伴在用 PySpider 爬取 https 开头的网站的时候遇到了 HTTP 599: SSL certificate problem: self signed certificate in certificate chain 的错误。 经过一番排查，解决方案总结如下 错误原因 ...
分类：
Web程序 时间：
2018-01-14 20:20:39
阅读次数：
2201
PySpider Begin 安装 在windows系统好像会出现如下问题 解决方法： 利用wheel安装 S1: S2: 进入www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl + F查找pycurl S3: 这个包名是 ，选择你所需要的进行下载 S4: 安装编译包 ...
分类：
其他好文 时间：
2018-01-13 22:27:21
阅读次数：
330
Python中大的爬虫框架有scrapy（风格类似django），pyspider（国产python爬虫框架）。 除了Python，Java中也有许多爬虫框架。 nutch apache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块 heritrix 比较成熟 地址：intern ...
分类：
编程语言 时间：
2017-12-25 00:48:42
阅读次数：
232
环境：windows10 64bit pip3 install pyspider 报错信息： 2. 从这里下载安装包 Python Extension Packages for Windows 放到D盘根目录，安装 3. 继续完成pyspider的安装 坑踩多了才有收获 ...
分类：
其他好文 时间：
2017-11-25 11:33:05
阅读次数：
139
pyspider 的内容选择器默认已经实例化一个pyquery对象，可以直接使用pyquery的api来获取自己需要的内容。 例：html:"<head><title>hello</title></head>" response.doc('head').html()#返回<title>hello</ ...
分类：
其他好文 时间：
2017-11-02 16:13:10
阅读次数：
214
配置文件一般是在/etc/squid3/下的squid.conf文件 pyspider使用的时候只需要设置代理服务器为你配置好的服务器的ＩＰ就可以了 1 class Handler(BaseHandler): 2 crawl_config = { 3 'proxy': '127.0.0.1:6666 ...
分类：
其他好文 时间：
2017-11-02 15:50:31
阅读次数：
199
