负载(load)是linux机器的一个重要指标,直观了反应了机器当前的状态。Linux的负载高,主要是由于CPU使用、内存使用、IO消耗三部分引起。任意一项使用过量,都将导致服务器负载的急剧攀升。 直接查看负载状况可以用命令: #uptime 既然是CPU使用,内存使用和IO消耗。那么需要两个命令来 ...
分类:
移动开发 时间:
2020-07-29 14:45:30
阅读次数:
101
背景收到nginx的超时报警和服务所在机器的load报警,通过分析问题时间段的系统cpu,内存,网络io,磁盘io使用情况,发现是磁盘io达到瓶颈导致。通过iostat看磁盘的await(平均每次设备I/O操作的等待时间)时间达几百毫秒且util(一秒中有百分之多少的时间用于I/O操作,即被io消耗的cpu百分比)持续100%分析定位问题服务1,通过使用iotop来看系统上使用io最多的进程,发现
分类:
其他好文 时间:
2020-04-23 00:50:14
阅读次数:
181
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点: 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类:
其他好文 时间:
2020-02-20 13:13:52
阅读次数:
65
一、问题描述 由于服务器配置不高,备份策略为周末全备、周一至周六差异备份。 平时服务器CPU使用30%左右。 全备份时,开启两个通道,CPU达到90%左右,业务部卡顿、不掉单,session不积压,磁盘读取200MB/s 差异备份时,开启两个通风道,CPU达到100%,业务卡顿、掉单,session ...
分类:
数据库 时间:
2019-04-10 16:36:57
阅读次数:
286
一、Mysql索引原理 目前Mysql的MyISAM和InnoDB都支持B-Tree索引,InnoDB还支持B+Tree索引,Memory还支持Hash。现在互联网应用中对数据库的使用多数都是读较多,比例可以达到 10:1。并且数据库在做查询时 IO 消耗较大,所以如果能把一次查询的 IO 次数控制 ...
分类:
数据库 时间:
2018-12-18 02:36:27
阅读次数:
238
参考: "OS中常用的调度算法总结" "调度算法的介绍及优缺点" linux进程(任务)调度算法 进程类型: 1. IO消耗型(交互) 2. 处理器消耗型(计算) 进程两种不同的优先级: 1. nice值,普通进程 2. 实时优先级,实时进程 调度器,目的是允许不同类型的进程可以有针对性地选择调度算 ...
分类:
编程语言 时间:
2018-10-27 00:07:15
阅读次数:
167
原文:MySQL服务器 IO 100%的案例分析【问题】 有台MySQL 5.6.21的数据库实例以写入为主,IO %util接近100% 写入IOPS很高 【分析过程】 1、通过iotop工具可以看到当前IO消耗最高的mysql线程 2、查看线程49342的堆栈,可以看到正在进行redo log的... ...
分类:
数据库 时间:
2018-10-21 16:48:48
阅读次数:
212
【问题】 有台MySQL 5.6.21的数据库实例以写入为主,IO %util接近100% 写入IOPS很高 【分析过程】 1、通过iotop工具可以看到当前IO消耗最高的mysql线程 2、查看线程49342的堆栈,可以看到正在进行redo log的刷新,对应的是9号文件 3、9号文件对应的是re ...
分类:
数据库 时间:
2018-10-21 01:00:34
阅读次数:
217
在做视频站的时候存在这么一个情景,用户需要上传较大的视频文件,一般在两个G以上,且可能存在多人同时上传的情况。 经过查阅资料解决方案有如下几种: 1、调整php和nginx文件上传的最大限制 2、在前端将文件切片上传后再进行合并 经过我们的评估发现,方案1的做法并不合适,单纯的调大文件大小限制,会导 ...
分类:
Web程序 时间:
2018-09-15 13:11:47
阅读次数:
347
负载(load)是linux机器的一个重要指标,直观了反应了机器当前的状态。如果机器负载过高,那么对机器的操作将难以进行。 Linux的负载高,主要是由于CPU使用、内存使用、IO消耗三部分构成。任意一项使用过多,都将导致服务器负载的急剧攀升。 查看服务器负载有多种命令,w或者uptime都可以直接 ...
分类:
系统相关 时间:
2018-08-13 12:22:59
阅读次数:
202