1、简介 redis是一款菲关系型数据库（Not Only SQL ），是对关系型数据库做补充。这是一种基于内存的数据库，用于应对基于海量用户和海量数据前提下的数据处理问题。 因为磁盘读/写速度比较慢的问题，一瞬间成千上万的请求到来，需要系统在极短的时间内完成成千上万次的读/写操作，极其容易造成数据 ...
分类：
其他好文 时间：
2020-03-09 17:41:34
阅读次数：
78
InnoDB的page size默认是16KB，而操作系统的一个block size是4KB，磁盘io block则更小。那么InnoDB的page刷到磁盘上要写4个操作系统block，在极端情况下（比如断电）不一定能保证4个块的写入原子性，假如只有一部分写是成功的，那么innodb的数据page就 ...
分类：
数据库 时间：
2020-03-08 16:00:30
阅读次数：
112
1、什么是进程和线程 1.1 进程是程序运行资源分配的最小单位 进程是操作系统进行资源分配的最小单位，其中资源包括：CPU、内存空间、磁盘IO等，同一进程中的多个线程共享该进程中的全部系统资源，而进程和进程之间是相互独立的。进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动，进程是系统进行 ...
分类：
编程语言 时间：
2020-03-07 20:53:25
阅读次数：
78
在PHP+MYSQL架构网站运行过程中，往往会遇到各种性能问题影响，如MySQL、PHP、CPU、磁盘IO、缓存等，其中MySQL瓶颈就是最常见也最难解决的一种影响网站性能的因素；通常，我们会使用redis、memcached等缓存软件来缓存内容，这确实是最优的解决方案之一，但这需要网站程序的支持，然而多数常用网站程序并不支持或者不能完美支持这些缓存软件，今天我们就来谈谈如何通过MySQL自身的配
分类：
数据库 时间：
2020-03-03 12:54:13
阅读次数：
125
问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
一般我们为了确保系统的稳健运行，都会对系统运行时的各个指标进行收集，如CPU使用率，内存使用率，磁盘IO，网络延迟，应用心跳等。进行实时监控，通过对这些数据的监控，使我们能够在出现问题时第一时间通知开发/运维人员进行处理，或者触发某些自动化操作，以确保在用户还没有察觉到问题之前处理完故障和异常，以系统的稳定运行。
分类：
其他好文 时间：
2020-02-21 20:09:27
阅读次数：
114
在早期版本的Spark中，shuffle过程没有磁盘读写操作，是纯内存操作，后来发现效率较低，且极易引发OOME，较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShuffleManager：上一个stage中每一个task会对下一个stage的每一个task写一份数 ...
分类：
其他好文 时间：
2020-02-20 20:29:21
阅读次数：
62
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点： 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类：
其他好文 时间：
2020-02-20 13:13:52
阅读次数：
65
磁盘IO和网络IO该如何评估、监控、性能定位和优化生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设置不当等引起的IO延时。一、评估IO能力的前提评估一个系统IO能力的前提是需要搞清楚这个系统的IO模型是怎么样的。那么IO模型是什么，为什么要提炼IO模型呢？（一）、IO模型在实际的业
分类：
其他好文 时间：
2020-02-17 13:57:08
阅读次数：
76
线上系统突然变得卡顿或无法访问，排除网络异常的情况下，检查服务器资源占用情况，如果CPU、内存、磁盘IO等资源占用过高，就会导致无法继续处理HTTP请求。 如果是CPU占用飙高，有可能是程序中存在死循环、死锁导致的，也有可能是内存紧张从而频繁GC导致的，要具体问题具体分析。 排查过程 这里记录一次线 ...
分类：
其他好文 时间：
2020-02-06 11:07:57
阅读次数：
75
