码迷,mamicode.com
首页 > 其他好文 > 详细

TPS限流

时间:2018-08-31 21:24:58      阅读:331      评论:0      收藏:0      [点我收藏+]

标签:exce   默认   令牌   1.2   工具类   loser   get   完成   意思   

限流是高可用服务需要具备的能力之一 ,粗暴简单的就像我们之前做的并发数控制。好一点的有tps限流,可用令牌桶等算法实现。《亿级流量网站架构核心技术》一书P67限流详解也有讲。dubbo提供了此机制,TpsLimitFilter。guava也提供了相应的工具类RateLimiter。

1. dubbo提供的tps限流

1.1 demo使用

1.1.1 在source folder下放置,META-INF/dubbo/com.alibaba.dubbo.rpc.Filter

里面写入 tpslimiter=com.alibaba.dubbo.rpc.filter.TpsLimitFilter
表示将TpsLimitFilter这个filter的扩展给装配给dubbo

1.1.2 provider侧的配置

<dubbo:service interface="org.simonme.dubbo.demo.provider.service.HelloService" ref="m00001.app001.xx.helloService" filter="tpslimiter">
    <dubbo:parameter key="tps" value="5" />
</dubbo:service>

意思对HelloService 这个接口在provider侧做tps为5的限流,默认间隔是60s,可以通过tps.interval这个parameter进行配置,单位是毫秒。注意此处配置的tps为5,不是每秒限制通过5个以内的请求,而是单位时间间隔内通过5个以内的请求。关于单位时间间隔前面解释了。

1.2 如果超限了是什么现象?

客户端会抛出rpc调用异常:
com.alibaba.dubbo.rpc.RpcException: Failed to invoke service org.simonme.dubbo.demo.provider.service.HelloService.sayHello because exceed max service tps

1.3 原理分析

主要是DefaultTPSLimiterStatItem两个类配合完成。采用的是令牌桶算法,实现在StatItem类中。
大意是:
每隔一个单位时间后重置令牌桶中令牌的数量,然后每次请求来的时候减1,减到小于0时,拒绝请求。

long now = System.currentTimeMillis();
if (now > lastResetTime + interval) {
    token.set(rate);
    lastResetTime = now;
}

int value = token.get();
boolean flag = false;
while (value > 0 && !flag) {
    flag = token.compareAndSet(value, value - 1);
    value = token.get();
}

注意:此实现依赖系统时间,如果想用相对时间实现,可以参见这里 dubbo的TPS限流模块在运行时系统时间发生变化的情况下限流不能正常工作 #2345

2. spring cloud

对于采用spring cloud的架构的项目,可以借助guava的RateLimiter来实现ZuulFilter的子类来达成tps限流的目的。

TPS限流

标签:exce   默认   令牌   1.2   工具类   loser   get   完成   意思   

原文地址:https://www.cnblogs.com/simoncook/p/9567604.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!