1.Scrapy安装问题一开始是按照官方文档上直接用pip安装的，创建项目的时候并没有报错，然而在运行scrapy crawl dmoz的时候错误百粗/(ㄒoㄒ)/~~比如：ImportError: No module named _cffi_backendUnhandled error in De...
分类：
其他好文 时间：
2015-10-30 17:01:15
阅读次数：
261
不多说，直接开整一、安装开发包组、升级操作系统#yumgroupinstall"DevelopmentTools"-y
#yumupdate-y注：1、如果你的系统上的python不是python2.7以上版本请升级到python2.7以上版本（由于Scrapy需要python2.7以上的版本）#下载python2.7
#wgethttp://python.org/ftp/python/2..
分类：
其他好文 时间：
2015-10-16 06:30:08
阅读次数：
558
安装setuotool执行该命令 curl https://bootstrap.pypa.io/ez_setup.py -o - | pythonmac OS 自带python 2.7.6 从官网下载2.7.9安装后，在终端输入python 自动改变为2.7.9版本，且自带pip执行pip inst...
分类：
编程语言 时间：
2015-09-20 01:44:27
阅读次数：
568
昨天安装了scrapy一切正常，调试了bbsSpider案例（详见上文），今日开机因为冰封还原，提示找不到python27.dll，重新安装了python2.7，使用easy-install scrapy 提示错误：pkg_resources.DistributionNotFound: pyasn1...
分类：
编程语言 时间：
2015-09-11 20:50:11
阅读次数：
318
1、scrapy可以做什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates W....
分类：
其他好文 时间：
2015-08-10 13:26:15
阅读次数：
105
参考文章：http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html一、 Scrapy简介Scrapy is a fast high-level screen scraping and we...
分类：
其他好文 时间：
2015-07-29 15:22:50
阅读次数：
224
暑假记录datework2015/7/13-2015/7/14win下安装scrapy 安装流程: 重新安装python2.7 安装pip,easy_install 使用pip安装lxml,pyOpenSSL,Zope.Interface,twisted,pywin32 注意所有的系统版本...
分类：
其他好文 时间：
2015-07-16 19:37:16
阅读次数：
170
网上的安装教程太多了，现在记录下自己的安装历程：
之前安装的时候是参考一篇网帖：Scrapy安装介绍
里面给的链接都已经比较旧了，后来使用发现一些功能没有，无奈打算重新安装个新版的。
首先，我之前使用的python一直是2.7.3，发现pip功能无法直接使用，也不想单独安装了，所以打算直接升级2.7.10，好在之前安装的模块也不多，大不了重新装一遍也很快。装完了2.7.10之后发现之前的模块...
1.安装 lxml (使用xpath)2.安装 zope.interface3.安装 twisted 出错先安装sudo apt-get install build-essential python-dev4.安装 pyOpenSSL5.安装 pywin326.安装Scrapy windows需要安...
分类：
其他好文 时间：
2015-06-12 16:43:11
阅读次数：
120
在利用pycharm安装scrapy包是遇到了挺多的问题。在折腾了差不多折腾了两个小时之后总算是安装好了。期间各种谷歌和百度，发现所有的教程都是利用命令行窗口安装的。发现安装scrapy需要的包真是多的要死啊。没有专门针对pycharm安装的。因此这里将自己的安装经验分享一下，希望能帮助一些py.....
分类：
其他好文 时间：
2015-06-10 18:38:58
阅读次数：
516
