码迷,mamicode.com
首页 > 其他好文 > 详细

pyspider爬虫框架的安装和使用

时间:2018-07-21 11:56:16      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:erro   lib   打开   数据   org   pytho   oca   管理   window   

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便。

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS。

官方文档:http://docs.pyspider.org/
PyPI:https://pypi.python.org/pypi/pyspider
GitHub:https://github.com/binux/pyspider
官方教程:http://docs.pyspider.org/en/latest/tutorial
在线实例:http://demo.pyspider.org

一、安装pyspider

pip3 install pyspider

Windows下可能会出现这样的错误提示:

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这是PyCurl安装错误,此时需要先安装PyCurl库。http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl

 

启动pyspider:

pyspider all

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面

pyspider爬虫框架的安装和使用

标签:erro   lib   打开   数据   org   pytho   oca   管理   window   

原文地址:https://www.cnblogs.com/xuyingzhong/p/9345575.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!