码迷,mamicode.com
首页 > 其他好文 > 详细

Redis读超时排查

时间:2018-06-17 17:48:51      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:com   failed   image   UI   机器   tor   bubuko   redis   其他   

现象:STORM UI中发现bolt中有failed,异常日志抛异常read time out  

技术分享图片

 

技术分享图片

 

业务场景:storm读写redis。

查看redis日志发现,正常情况下 每隔2小时都会有超时的异常抛出来,抛出异常的 redis机器有多台。

分析慢日志:

1、看命令数和value大小:找到其中一台redis,看命令数,只要在10W tps以下都不算大,看慢的命令是否有大value,发现并不大(只看了其中一个,其他没看)

2、看连接数在3K以下 并不高

3、看网卡流量,平均比较高

技术分享图片

技术分享图片

技术分享图片技术分享图片

问题定位:多个项目共用一个redis集群,导致redis网卡流量居高不下,而redis是多线程接收命令,单线程处理命令,即使一个命令的value并不大,可能因为等待执行的命令较多,导致当前的命令处理变慢!

正常的redis网卡流量应该像下面这样好看技术分享图片

 

Redis读超时排查

标签:com   failed   image   UI   机器   tor   bubuko   redis   其他   

原文地址:https://www.cnblogs.com/yangdi/p/9193243.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!