sysbench介绍 SysBench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。它主要包括以下几种方式的测试：1. cpu性能2. 磁盘io性能3. 线程调度性能4. 互斥锁性能5. 数据库性能(OLTP基准测试)6. 内存性能 目前sysben ...
分类：
其他好文 时间：
2020-07-15 15:21:10
阅读次数：
77
##什么是IO 在Linux世界里，一切皆文件。文件就是一串二进制流，不管是socket、FIFO、管道还是终端，对我们来说一切都是文件，一切都是流。在信息交换的过程中，我们都是对这些流进行数据的收发操作，简称为I/O操作(Input and Output)。 计算机里的所有流都是通过文件描述符（F ...
分类：
其他好文 时间：
2020-07-12 14:42:06
阅读次数：
74
Redis 持久化机制 什么是Redis持久化？ 持久化就是把内存的数据写到磁盘中去，防止服务宕机了内存数据丢失； Redis提供了两种持久化方式：RDB（默认）和 AOF； 数据存放于： 内存：高效、断电（关机）内存数据会丢失 磁盘：读写速度慢于内存，断电数据不会丢失 Redis持久化存储支持两种 ...
分类：
其他好文 时间：
2020-07-08 22:55:58
阅读次数：
59
Linux 如何测试 IO 性能（磁盘读写速度） 这几天做MySQL性能测试，偌大一个公司，找几台性能测试机器都很纠结，终于协调到两台，IO的性能如何还不知道。数据库属于IO密集型的应用，所以还是先评估下Server的IO性能，看看是否能和线上的机器匹配上。之前一直知道用dd（device to d ...
分类：
系统相关 时间：
2020-07-04 15:38:58
阅读次数：
89
前言：zabbix并没有给我们提供这么一个模板来完成在Linux中磁盘IO的监控，所以我们需要自己来创建一个，在此还是在LinuxOS中添加。 由于一台服务器中磁盘众多，如果只一两台可以手动添加，但服务集群达到几十那就非常麻烦，因此需要利用自动发现这个功能，自动发现后自动添加对服务器磁盘的监控，而且添加磁盘后也会自动添加到监控，实现自动化运维的效果，所以在这里也演示一次自动发现的配置。经测试无法
分类：
其他好文 时间：
2020-06-30 18:57:51
阅读次数：
80
使用fio测试 安装 # yum install fio -y 编译安装 # wget https://brick.kernel.dk/snaps/fio-3.20.tar.gz # tar xfz fio-3.20.tar.gz cd fio-3.20 # ./configure # make # ...
分类：
系统相关 时间：
2020-06-28 22:28:35
阅读次数：
91
1、删除一个大文件 我在生产服务器上有一个很大的200GB的日志文件需要删除。我的rm和ls命令已经崩溃，我担心这是由于巨大的磁盘IO造成的，要删除这个大文件，输入： > /path/to/file.log # 或使用如下格式 : > /path/to/file.log # 然后删除它 rm /pa ...
分类：
其他好文 时间：
2020-06-28 00:23:01
阅读次数：
75
问题背景 训练深度学习模型往往需要大规模的数据集，这些数据集往往无法直接一次性加载到计算机的内存中，通常需要分批加载。数据的I/O很可能成为训练深度网络模型的瓶颈，因此数据的读取速度对于大规模的数据集（几十G甚至上千G）是非常关键的。例如：https://discuss.pytorch.org/t/ ...
分类：
数据库 时间：
2020-06-25 19:36:16
阅读次数：
148
一、背景 随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而一台服务的资源终究是有限的，因此需要对数据库和表进行拆分，从而更好的提供数据服务。 当用户表达到千万级别，在做很多操作的时候都会很吃力，所以当数据增长 ...
分类：
数据库 时间：
2020-06-17 23:15:37
阅读次数：
66
一 mysql双写( 目标机械盘) 1 double write是什么 1 内存中开启的一个连续空间 2 共享表空间 ibdata中的一个缓存区间 3 大小2M,由2个段构成(每个段64个页 一共128个页) 目的 是为了避免页损坏/页中断后无法恢复的情况,实现原子写特性 2 描述下double w ...
分类：
数据库 时间：
2020-06-10 10:59:23
阅读次数：
122
