1 简介 在WEB开发中，偶尔需要对HTTP协议更多底层细节进行控制，这时的django/web.py等等显然无法满足要求，所以只好求助于Twisted了。使用Twisted进行WEB开发，其实更合适的叫法应该是基于HTTP服务器的开发，因为Twisted相对底层，所以可以控制的东西也比较底层。 在 ...
分类：
Web程序 时间：
2017-06-10 12:40:38
阅读次数：
439
twisted的安装经常会出问题，提示： 1、twisted错误，报Unable to find vcvarsall.bat2、等 解决办法： 1.安装wheel，命令：pip install wheel，用于安装编译.whl文件 或者将whl文件后缀修改为zip，然后解压，将解压的结果直接放置到第 ...
分类：
编程语言 时间：
2017-06-02 19:35:36
阅读次数：
216
我们都知道大名鼎鼎的爬虫框架scrapy，它是基于twisted框架基础上进行的封装,它是基于异步调用,所以爬取的速度会很快,下面简单介绍一下scrapy的组成. 首先我们先安装scrapy,如果是基于python3.x 安装scrapy会出错因为依赖的twisted不兼容现有的python版本导致 ...
分类：
其他好文 时间：
2017-05-29 13:33:26
阅读次数：
581
一、py2和py3的区别 最大的区别在于，py3对Unicode的支持 官方将在2020年停止对py2.7的支持 One popular module that don't yet support Python 3 is Twisted (for networking and other appli ...
分类：
编程语言 时间：
2017-05-21 23:21:21
阅读次数：
266
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ...
分类：
编程语言 时间：
2017-05-17 12:00:18
阅读次数：
232
消息传递有非常多种方式。请求/响应（Request/Reply）是最经常使用的。在前面的博文的样例中。非常多都是採用请求/响应的方式。当server接收到消息后，会马上write回写一条消息到client。HTTP协议也是基于请求/响应的方式。可是请求/响应并不能满足全部的消息传递的需求，有些需求可 ...
分类：
Web程序 时间：
2017-05-15 18:20:01
阅读次数：
282
技术选型： Scrapy vs requsts+beautifulsoup 1,reqests,beautifulsoup都是库，Scrapy是框架 2,Scrapy中可以加入requests beautifulsoup 3,Scrapy基于twisted，异步IO框架，性能最大的优势 4,Scra ...
分类：
其他好文 时间：
2017-05-13 18:04:54
阅读次数：
169
在python2中我们使用twisted比较方便，网上资料也比较多，但是通常在python3中使用的时候，并不能成功。我也是找了好多资料没有成功之后，自己去尝试做小白鼠，测试了很久之后，发现传递给twisted的所有数据都需要是bytes类型的。直接看代码吧（亲测可用）： 注意：postdata这个 ...
分类：
编程语言 时间：
2017-05-12 18:50:17
阅读次数：
136
protobuf是谷歌的Protocol Buffers的简称，用于结构化数据和字节码之间互相转换（序列化、反序列化），一般应用于网络传输，可支持多种编程语言。protobuf怎样使用这里不再介绍，本文主要介绍在MINA、Netty、Twisted中怎样使用protobuf，不了解protobuf的 ...
分类：
Web程序 时间：
2017-05-09 19:48:35
阅读次数：
428
要想开发一个高性能的TCPserver，熟悉所使用框架的线程模型非常重要。MINA、Netty、Twisted本身都是高性能的网络框架，假设再搭配上高效率的代码。才干实现一个高大上的server。可是假设不了解它们的线程模型。就非常难写出高性能的代码。框架本身效率再高。程序写的太差，那么server ...
分类：
编程语言 时间：
2017-04-14 20:55:17
阅读次数：
609
