码迷,mamicode.com
首页 > 其他好文 > 详细

一个不好解决的双11性能问题

时间:2016-10-31 22:05:11      阅读:180      评论:0      收藏:0      [点我收藏+]

标签:解决   开始   test   压力测试   内存   多个参数   内存碎片   调用   bsp   

  最近已经封网,但是发现了一个比较严重的性能问题,问题很诡异,具体发生经过是这样的

几个入口图在app首页访问量比较大的服务,他的tp99是基本不变的,tp999是缓慢升高变差的

最终升高到调用方超时,这是个特别诡异的问题,因为tp99是基本没有变化的,tp999却在每天

以50ms的方式缓慢升高。

      通过查看网络tcp重传包、tcp丢包、线程数、内存、性能等多个参数问题都没有特别明显的

变化,开始以为是调用redis tp999单片高导致tp999升高。有同事提到是不是某个数据大导致

个别请求变大tp999升高,通过增加监控发现调用redis服务是有增高,但幅度不大,最终通过

加监控我突然想到前边一个因日志打印多次调用redis服务的性能问题就是这样解决的。

  然后赶紧加多个监控取查看问题,加到第三个监控的时候,发现此接口tp999特别高,是调用

了abtest服务,abtest服务本身tp999并不高,但abtest的max 有高的值,当调用abtest服务的

访问量比较高时例如:每分钟7、8万次这时tp999这个碰到max值得几率就很大了。abtest经分析

是压力测试后导致内存释放没有那么及时或内存碎片过大导致max性能变差,通过重启abtest多个

应用tp999回落正常。

                                    2016-10-31于北辰

一个不好解决的双11性能问题

标签:解决   开始   test   压力测试   内存   多个参数   内存碎片   调用   bsp   

原文地址:http://www.cnblogs.com/freedommovie/p/6017244.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!