我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
简介 Nginx是一款轻量级的HTTP服务器，采用事件驱动的异步非阻塞处理方式框架，这让其具有极好的IO性能，时常用于服务端的反向代理和负载均衡。 常用命令 #柔和重启 nginx -s reload #配置文件检查 nginx -t 常用配置 #反向代理 server { listen 80; .... ...
分类：
其他好文 时间：
2020-01-28 11:02:14
阅读次数：
120
原始版： 直接读写数据库文件； 改进版1:undo log 将待未改数据备份到缓存，直接修改数据库文件； 改进版2: 将未修改和待修改数据写进顺序日志，定时同步到数据库。 核心是解决数据安全和io性能问题。 InnoDB 有两块非常重要的日志，一个是undo log，另外一个是redo log，前者 ...
分类：
数据库 时间：
2020-01-07 19:56:51
阅读次数：
120
sysbench支持以下几种测试模式：1、CPU运算性能2、磁盘IO性能3、调度程序性能4、内存分配及传输速度5、POSIX线程性能6、数据库性能(OLTP基准测试) sysbench版本：[root@127-0-0-1 sysbench]# /u01/opt/sysbench/bin/sysben ...
分类：
其他好文 时间：
2020-01-06 16:15:50
阅读次数：
117
Spring Cloud第二代网关GateWay是由纯Netty开发，底层为Reactor,WebFlux构建，不依赖任何Servlet容器，它不同于Zuul，使用的是异步IO，性能较Zuul提升1.6倍。搭建过程如下(本次搭建的为子项目，主项目可以参考Nacos搭建流程 ) pom <depend ...
分类：
其他好文 时间：
2019-12-13 23:40:11
阅读次数：
174
磁盘冲突 大多数磁盘都会对访问次数（IPOS）和数据传输率（每秒传输的数据量，TPS）有限制，当达到这些限制时，后面需要访问磁盘的进程就需要等待，这时就是所谓的磁盘冲突 避免磁盘冲突时优化IO性能一个重要指标，而 I/O 性能的优化与其他资源（如CPU和内存）的优化有着很大的区别 ,I/O 优化最有 ...
分类：
其他好文 时间：
2019-12-06 09:42:36
阅读次数：
78
一、什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 Tips：最好不要在主库上数据库备份，大型活动前取消这样的计划。 磁盘IO：磁盘IO性能突然下降、大量消耗磁盘性能的计划任务。解决：更快磁盘设备、调整计划任务、做好磁盘维护。 1.3 网卡流量：如何避免无法连接数据 ...
分类：
数据库 时间：
2019-12-01 10:04:50
阅读次数：
129
关键字就是key的意思 一、B-Tree的性质 1、定义任意非叶子结点最多只有M个儿子，且M>2； 2、根结点的儿子数为[2, M]； 3、除根结点以外的非叶子结点的儿子数为[M/2, M]； 4、每个结点存放至少M/2-1（取上整）和至多M-1个关键字；（至少2个关键字） 5、非叶子结点的关键字个 ...
分类：
数据库 时间：
2019-11-18 22:19:25
阅读次数：
115
Linux TCP/IP协议栈，数据发送接收流程，TCP协议特点 http://network.51cto.com/art/201909/603780.htm 可以毫不夸张的说现如今的互联网是基于TCP/IP构建起来的网络。弄懂协议栈的原理，无论对调试网络IO性能还是解决网络问题都是有很大帮助的。本 ...
分类：
系统相关 时间：
2019-10-02 11:07:03
阅读次数：
95
sysbench 数据库性能测试 Mac上安装sysbench测试工具 测试sysbench 是否安装成功 sysbench能支持哪些性能指标测试 sysbench支持以下几种测试模式： cpu 运算性能测试 磁盘Io测试 第一步准备阶段，生成测试用到的数据文件，生成的数据文件至少要比内存大 文件的 ...
分类：
数据库 时间：
2019-08-31 14:39:12
阅读次数：
116
