Scrapy是python开发的一个爬虫框架，如果你要学习它的话，可能第一步在安装的时候，就会遇到很多问题，因为Scrapy很多模块都是基于linux下的，可能你在mac上或者linux上面安装的时候，不会有什么问题，但是Windows上面安装的话，可能会有各种各样的问题。 这里我就把遇到的问题整理 ...
from twisted.web.client import getPage from twisted.internet import reactor from twisted.internet import defer url_list = ['http://www.bing.com', 'htt ...
分类：
其他好文 时间：
2018-03-26 15:58:14
阅读次数：
212
问题描述 当前环境win10，python_3.6.1，64位。 在windows下，在dos中运行pip install Scrapy报错： 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我 ...
分类：
编程语言 时间：
2018-03-18 10:27:38
阅读次数：
445
双绞线可按其是否外加金属网丝套的屏蔽层而区分为屏蔽双绞线（STP）和非屏蔽双绞线（UTP）。从性价比和可维护性出发，大多数局域网使用非屏蔽双绞线（UTP-Unshielded Twisted pair） 作为布线的传输介质来组网。 双绞线单根的长度不应超过100M。 双绞线由8根不同颜色的线分成4对 ...
分类：
其他好文 时间：
2018-03-07 20:14:53
阅读次数：
180
pip install Twisted 报错： 解决方案： 打开"c:\users\xxx\appdata\local\programs\python\python36\lib\site-packages\pip\compat\__init__.py"，定位至75行，修改return s.decod ...
分类：
编程语言 时间：
2018-03-05 23:33:58
阅读次数：
1841
scrapy是一个非常好用的爬虫框架，它是基于Twisted开发的，Twisted又是一个异步网络框架，既然它是异步的，那么执行起来肯定会很快，所以scrapy的执行速度也不会慢的！ 如果你还没没有学过scrapy的话，那么我建议你先去学习一下，再来看这个小案例，毕竟这是基于scrapy来实现的！网 ...
分类：
其他好文 时间：
2018-03-02 14:50:48
阅读次数：
171
scrapy 参考教程及安装环境: win7/10 64bit, python 3.6.x教程： http://python.jobbole.com/86405/安装过程0. 预先安装 VC14 64bit (32bit最好也安装上)1. 先安装 twisted不预先安装这个会提示缺少vc++，现有 ...
分类：
其他好文 时间：
2018-02-28 18:05:00
阅读次数：
146
常见的异步io模块asyncio、gevent、twisted、tornado 核心技术为select()和协程 异步io请求的本质则是【非阻塞Socket】+【IO多路复用】 协程在这里不是一个必须使用的技术，在使用select()事件驱动循环本身就可以达到单线程异步的效果 io协程在遇到阻塞时进 ...
分类：
其他好文 时间：
2018-02-24 13:20:34
阅读次数：
250
最近看了一本书，说了一些Node.js的东西，现在来记录一下，让自己记得更牢靠一点。 在书上，是这样介绍的：Node.js模型是源于Ruby的Event Machine 和 Python的Twisted模型，使用事件循环运行JavaScript程序。不同于传统程序设计模型的阻碍调用，Node.js使 ...
分类：
其他好文 时间：
2018-02-20 10:30:52
阅读次数：
149
Scrapy的安装： 当前环境win10，python_3.6.4，64bit。在命令提示符窗口运行pip install Scrapy，出现以下结果： 按报错提示安装之后错误依旧存在； http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted> 下载Tw ...
分类：
其他好文 时间：
2018-02-13 22:53:23
阅读次数：
349
