Bug 描述 K8s Worker 节点负载突然升高至 90+，导致节点 NotReady. 该节点为 8c/10G 的配置，这个负载显然不正常。 排查 首先用 ，发现 cpu/memory 使用率都不高，怀疑是磁盘 IO 问题。 查看 prometheus 监控： 发现是首先内存飙升致 100%， ...
分类：
系统相关 时间：
2020-04-06 23:55:14
阅读次数：
202
上周对ES集群进行扩容，运维同学找了几台物理机部署data node，结果发现新的data node比以前的data node性能差很多。同样的data node配置，同样的查询量，测试结果：CPU低，load非常高，diskIO打满。 最后通过对比系统配置，发现区别是新加入的物理机以前是跑Mong ...
分类：
系统相关 时间：
2020-04-06 13:25:07
阅读次数：
113
一，iostat所属的包: [root@centos8 ~]# whereis iostat iostat: /usr/bin/iostat /usr/share/man/man1/iostat.1.gz [root@centos8 ~]# rpm -qf /usr/bin/iostat sysst ...
分类：
移动开发 时间：
2020-04-03 20:23:39
阅读次数：
382
一、数据规模 二、集群处理数据的吞吐量 2.1 hdfs的读写测试 Hadoop自带一个测试用的jar包，可以运行它来得知集群处理数据的性能如何 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-c ...
分类：
其他好文 时间：
2020-03-29 12:35:17
阅读次数：
225
我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
Zabbix 调用API接口批量修改（禁用/启用）指定触发器trigger
分类：
编程语言 时间：
2020-03-25 19:17:27
阅读次数：
181
lucene详细存储结构： 索引 (Index) ： 一个目录一个索引，在 Lucene 中一个索引是放在一个文件夹中的。 段(Segment) ： 一个索引 (逻辑索引)由多个段组成, 多个段可以合并, 以减少读取内容时候的磁盘IO. Lucene 中的数据写入会先写在内存的一个Buffer，当B ...
分类：
编程语言 时间：
2020-03-23 09:15:59
阅读次数：
107
IO访问方式 磁盘IO 具体步骤： 当应用程序调用read接口时，操作系统检查内核缓冲区中是否存在需要的数据，如果存在，就直接从内核缓存中直接返回，否则从磁盘中读取，然后缓存至操作系统的缓存中。 当应用程序调用write接口时，将数据直接从用户地址空间复制到内核地址空间的缓存中，这时对用户程序来说， ...
分类：
其他好文 时间：
2020-03-22 17:45:07
阅读次数：
67
int9中断例程对键盘输入的处理 键盘输入将引发9号中断，BIOS提供了int9中断例程。CPU在9号中断发生后，执行int 9中断例程，从60h端口读出扫描码，并将其转化为相应的ASCII码或状态信息，存储在内存的指定空间(键盘缓冲区或状态字节)中。 一般的键盘输入，在CPU执行完int 9中断例 ...
分类：
移动开发 时间：
2020-03-16 21:46:17
阅读次数：
109
可能导致磁盘IO ERROR 的原因： 遇到过的问题： 1. 这个外挂的磁盘不存在了。 2. 这个磁盘在Openstack中存在，但是在Instance中识别不到sudo fdisk -l|grep vd。 3. 这个磁盘对应的阵列空间不够了 使用使用 dmesg|grep sd 或 dmesg|g ...
分类：
系统相关 时间：
2020-03-10 14:20:24
阅读次数：
73
