? 时间过得真快,转眼之间已经是2019年了。好几年前,做web开发时,我们选择了Python的tornado框架,看重的是它的轻量级(简洁)和异步(说实话,没怎么用异步)。 后来,开始用Python 3,同时也接触了asyncio,对异步IO有了跟深入的理解和掌握。asyncio模块提供了在单线程 ...
分类:
编程语言 时间:
2019-01-17 16:53:48
阅读次数:
245
1.确定python版本为3.7. 2.安装开发Web App所需要的第三方库 异步框架 aiohttp pip install aiohttp 前端模板引擎 jinja2 pip install jinja2 mysql数据库 mysql数据库驱动 aiomysql pip install aio ...
分类:
编程语言 时间:
2019-01-10 21:42:44
阅读次数:
238
Tornado是一个异步框架,在异步操作的时候能提升程序的处理性能。但是如果在程序中碰到同步的逻辑,由于GIL的关系,会直接卡死,导致性能急剧下降。 目前对于mongodb以及redis都有比较不错的异步框架,但是对于Mysql,目前的异步框架都不是很成熟。 在实际应用中,由于一开始不是特别了解,在 ...
分类:
编程语言 时间:
2018-12-31 22:38:10
阅读次数:
378
一.Scrapy框架是基于Twisted的异步框架,纯Python实现的爬虫框架,耦合程度低,可拓展性极强。 1.Engine引擎,处理整个系统的数据流、触发事物、框架的核心 2.item项目,定义爬虫爬取结果的数据结构,爬取的数据会被赋值成该item对象 3.Schedule调度器,接受engin ...
分类:
其他好文 时间:
2018-12-21 21:18:50
阅读次数:
362
原子类型 算法想爆头,没有理论 python: 测试工具:py.text unittest pyUnit 开发框架:Django,Flask 异步框架:Tornado 一门语言的测试,编发,软件包开发框架,资源的丰富与否 高并发, 分布式系统与负载均衡 协同与异步的区别 字符编码与安全 PHP的se ...
分类:
编程语言 时间:
2018-10-30 13:20:46
阅读次数:
168
scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量代码,就能够快速的抓取到数据内容。 scrapy使用了twisted异步网络框架来处理网络通讯,来加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求 scrapy的工作流程 ...
分类:
其他好文 时间:
2018-10-24 01:13:21
阅读次数:
183
1.scrapy框架介绍 Scrapy是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架 Scrapy 特色是使用了 Twisted异步网络框架来处理网络通讯,加快了下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求 1.1 scrapy框架 ...
分类:
其他好文 时间:
2018-10-01 23:10:13
阅读次数:
198
前言 在介绍 RxJava 1.x 线程调度器之前,首先引入一个重要的概念 - 事件序列转换。RxJava 提供了对事件序列进行转换的支持,这是它的核心功能之一。 正文 1. 事件序列转换定义 所谓转换,就是将事件序列中的对象或整个序列进行加工处理,转换成不同的事件或事件序列,有点类似 Java 1 ...
分类:
移动开发 时间:
2018-09-27 00:09:24
阅读次数:
185
前言 RxJava 事件的发出和消费都在同一个线程,基于同步的观察者模式。观察者模式的核心是后台处理,前台回调的异步机制。要实现异步,需要引入 RxJava 的另一个概念 - 线程调度器 Scheduler。 正文 在不指定线程的情况下,RxJava 遵循的是线程不变的原则。即在哪个线程调用 sub ...
分类:
移动开发 时间:
2018-09-27 00:01:18
阅读次数:
243
Android异步框架RxJava 1.x系列(一) - 观察者模式及实现 前言 RxJava 是一款基于 Java VM 实现的响应式编程扩展库 - 基于观察者模式的异步和事件处理框架。RxJava 官方目前同时维护了两个版本,分别是 1.x 和 2.x,区别是它们使用不同的 group id 和 ...
分类:
移动开发 时间:
2018-09-26 22:44:42
阅读次数:
251