Netwarps一直在做去中心化的存储和计算平台，目标是物联网，甚至NDN网络。因此我们需要构建一个简洁的高性能的底层网络。之前Netwarps使用C语言实现了一套基本的P2P网络，然后在这个网络上搭建了去中心化文件存储系统（DFS）和去中心化计算平台（DCP）。但是随着技术的发展，我们越来越觉得基于C语言构建的P2P底层网络存在很多问题：1、C语言实现的异步框架维护困难，代码逻辑复杂；2、C语言
分类：
其他好文 时间：
2020-11-06 00:56:34
阅读次数：
10
Netwarps一直在做去中心化的存储和计算平台，目标是物联网，甚至NDN网络。因此我们需要构建一个简洁的高性能的底层网络。之前Netwarps使用C语言实现了一套基本的P2P网络，然后在这个网络上搭建了去中心化文件存储系统（DFS）和去中心化计算平台（DCP）。但是随着技术的发展，我们越来越觉得基于C语言构建的P2P底层网络存在很多问题：1、C语言实现的异步框架维护困难，代码逻辑复杂；2、C语言
分类：
其他好文 时间：
2020-11-04 18:12:51
阅读次数：
15
什么是scrapy框架： scrapy是一个基于Twisted异步框架的爬虫框架,scrapy具有异步性，效率高。 scrapy是用于爬取结构化数据 适合构建大型爬虫应用。 scrapy安装配置 lxml, wheel, Twisted, pywin32, scrapy 项目的常见与运行 创建： 1 ...
分类：
其他好文 时间：
2020-09-18 03:08:48
阅读次数：
31
基于分布式异步框架celery 前文已知，celery可以执行异步任务、延时任务、定时任务。 broker:'redis://127.0.0.1:6379/2' # 消息队列（中间件） broker 可以使用Redis、RabbitMQ backend:'redis://127.0.0.1:6379 ...
分类：
其他好文 时间：
2020-07-27 23:58:21
阅读次数：
99
""" 首先梳理一下场景 有个发邮件需求 请求某个接口 接口返回成功之后 2后 发送邮件提醒 前提接口流程必须走完 有正确返回 项目中没有其他异步框架的时候 可以使用下边方式 做个简单的异步 1.写好异步装饰器， 2.将需要延迟的操作写到函数中 将装饰器 放到函数头顶 3.正常走接口流程 代码不会堵 ...
分类：
其他好文 时间：
2020-06-28 18:05:46
阅读次数：
57
Netty中使用零拷贝方式写大数据 因为网络饱和的可能性，如何在异步框架中高效地写大块的数据是一个特殊的问题。由于写操作是非阻塞的，所以即使没有写出所有的数据，写操作也会在完成时返回并通知ChannelFuture。当这种情况发生时，如果仍然不停地写入，就有内存耗尽的风险。所以在写大型数据时，需要准 ...
分类：
Web程序 时间：
2020-06-11 19:27:29
阅读次数：
94
asyncio 被用作 提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。 asyncio 提供一组 高层级 API 用于: 并发地 运行 Python 协程 并对其执行过程实现完全控制; 执行 网络 IO 和 IPC; 控制 子进程; 通过 队列 实现 ...
分类：
编程语言 时间：
2020-05-25 16:01:03
阅读次数：
84
我们继续学习Python异步编程，这里将介绍异步Web框架sanic，为什么不是tornado？从框架的易用性来说，Flask要远远比tornado简单，可惜flask不支持异步，而sanic就是类似Flask语法的异步框架。 github：https://github.com/huge succe ...
分类：
编程语言 时间：
2020-04-27 00:03:36
阅读次数：
126
如果你想了解异步编程，那么必然会涉及出许多相关概念。 堵塞/非堵塞 同步/异步 多进程/多线程/协程 为什么我要学习这个话，因为我想搞懂异步框架和异步接口的调用。所以，我的学习路线是这样的： 1.python异步编程 2.python Web异步框架（tornado/sanic） 3.异步接口调用（ ...
分类：
编程语言 时间：
2020-04-22 22:54:38
阅读次数：
76
框架：具有很强的通用性，且封装了一些通用实现方法的项目模板 (异步框架)： 高性能的网络请求 高性能的数据解析 高性能的持久化存储 高性能的全站数据爬取 高性能的深度爬取 高性能的分布式 Scrapy环境安装 IOS和Linux windows 安装完成后，输入 测试一下，出现如下图显示，即安装成功 ...
分类：
其他好文 时间：
2020-03-26 01:01:46
阅读次数：
115
