码迷,mamicode.com
首页 > 其他好文 > 详细

应用不定时出现(每次一两分钟)大量错误排查

时间:2016-10-14 07:00:34      阅读:211      评论:0      收藏:0      [点我收藏+]

标签:

1、先查nginx日志

日志表明在出现错误的时候,200请求下降,502&504增加,504居多。

5分钟段,总请求数并无太大波动。可以表明,非攻击所为。

2、查后端java服务

查看日志,在故障时,有一个警告会随着增加:

WARN  com.alibaba.dubbo.rpc.cluster.support.FailoverClusterInvoker -  [DUBBO] Although retry the method

日志可以看出在连接一个dubbo服务的时候超时,接着转去连接另外一个dubbo,但是需要超时10秒。

继续看日志,发现有显示连接不足。

 

通过对比 nginx,主站业务模块,dubbo,redis,mysql的系统资源变化。(redis曾因为固化数据导致响应缓慢,故添加一个从库,从库负责固化,主库负责接受请求)

大致可以分析到,在问题出现时,dubbo,redis,mysql的使用率在飙高之前有一个很小的降低。猜测可能是任务卡住。

 

目前增加了dubbo的连接数,继续观察。

 

应用不定时出现(每次一两分钟)大量错误排查

标签:

原文地址:http://www.cnblogs.com/laozhizi/p/5958837.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!