码迷,mamicode.com
首页 > 其他好文 > 详细

限流(二)接口限流

时间:2018-05-20 10:50:34      阅读:224      评论:0      收藏:0      [点我收藏+]

标签:creat   时间戳   rate   public   访问量   time   blog   简单   exe   

如果某个接口可能出现突发情况,比如“秒杀”活动,那么很有可能因为突然爆发的访问量造成系统奔溃,我们需要最这样的接口进行限流。

在上一篇“限流算法”中,我们简单提到了两种限流方式:

1)(令牌桶、漏桶算法)限速率,例如:每 5r/1s = 1r/200ms 即一个请求以200毫秒的速率来执行;

2)(计数器方式)限制总数、或者单位时间内的总数,例如:设定总并发数的阀值,单位时间总并发数的阀值。

 

一、限制总并发数

我们可以采用java提供的atomicLong类来实现

atomicLong在java.util.concurrent.atomic包下,它直接继承于number类,它是线程安全的。

我们将使用它来计数

public class AtomicDemo {
    // 计数
    public static AtomicLong atomicLong = new AtomicLong(0L);
    // 最大请求数量
    static int limit = 10;
    // 请求数量
    static int reqAmonut = 15;
    
    public static void main(String[] args) throws InterruptedException {
        // 多线程并发模拟
        final CountDownLatch latch = new CountDownLatch(1);
        for (int i = 1; i <= reqAmonut; i++) {
            final int t = i;
            new Thread(new Runnable() {
                
                public void run() {
                    try {
                        latch.await();
                        // 计数器加1,并判断最大请求数量
                        if (atomicLong.getAndIncrement() > limit) {
                            System.out.println(t + "线程:限流了");
                            return;
                        } 
                        System.out.println(t + "线程:业务处理");
                        // 休眠1秒钟,模拟业务处理
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    } finally {
                        // 计数器减1
                        atomicLong.decrementAndGet();
                    }
                }
            }).start();
        }
        latch.countDown();
    }
}
 

 

二、限制单位时间的总并发数

下面用谷歌的Guava依赖中的Cache线程安全)来完成单位时间的并发数限制,

Guava需要引入依赖:

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>21.0</version>
</dependency>

具体逻辑如下:

1)根据当前的的时间戳(秒)做key,请求计数的值做value;

2)每个请求都通过时间戳来获取计数值,并判断是否超过限制。(即,1秒内的请求数量是否超过阀值

代码如下:

public class AtomicDemo2 {
    // 计数
    public static AtomicLong atomicLong = new AtomicLong(0L);
    // 最大请求数量
    static int limit = 10;
    // 请求数量
    static int reqAmonut = 15;
    
    public static void main(String[] args) throws InterruptedException {
        // Guava的Cache来存储计数器

        final LoadingCache<Long, AtomicLong> counter = CacheBuilder.newBuilder()
                                  .expireAfterWrite(1, TimeUnit.SECONDS)
                                  .build(new CacheLoader<Long, AtomicLong>(){                             @Override                              public AtomicLong load(Long key) throws Exception {                             return new AtomicLong(0L);                             }                              }); // 多线程并发模拟 final CountDownLatch latch = new CountDownLatch(1); for (int i = 1; i <= reqAmonut; i++) { final int t = i; new Thread(new Runnable() { public void run() { try { latch.await(); long currentSeconds = System.currentTimeMillis()/1000; // 从缓存中取值,并计数器+1 if (counter.get(currentSeconds).getAndIncrement() > limit) { System.out.println(t + "线程:限流了"); return; } System.out.println(t + "线程:业务处理"); } catch (InterruptedException e) { e.printStackTrace(); } catch (ExecutionException e) { e.printStackTrace(); } } }).start(); } latch.countDown(); } }

 

三、限制接口的速率

以上两种以较为简单的计数器方式实现了限流,但是他们都只是限制了总数。也就是说,它们允许瞬间爆发的请求达到最大值,这有可能导致一些问题。

下面我们将使用Guava的 RateLimiter提供的令牌桶算法来实现限制速率,例如:1r/200ms

同样需要引入依赖

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>21.0</version>
</dependency>

示例代码:

public class GuavaDemo {
    // 每秒钟5个令牌
    static RateLimiter limiter = RateLimiter.create(5);
    
    public static void main(String[] args) throws InterruptedException {
        final RateLimiter limiter2 = RateLimiter.create(5);
        for (int i = 0; i < 20; i++) {
            System.out.println(i + "-" + limiter2.acquire());
        }
    }
}
  

说明:

1)RateLimiter.create(5)表示创建一个容量为5的令牌桶,并且每秒钟新增5个令牌,也就是每200毫秒新增1个令牌;

2)limiter2.acquire() 表示消费一个令牌,如果桶里面没有足够的令牌那么就进入等待。

输出:

0.0
0.197729
0.192975
...

平均 1r/200ms的速率处理请求

 

RateLimiter允许突发超额,例如:

public class GuavaDemo {
    // 每秒钟5个令牌
    static RateLimiter limiter = RateLimiter.create(5);
    
    public static void main(String[] args) throws InterruptedException {
        final RateLimiter limiter2 = RateLimiter.create(5);
        System.out.println(limiter2.acquire(10));
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
    }
}

输出:

0.0
1.997777
0.194835
0.198466
0.195192
0.197448
0.196706

我们看到:

limiter2.acquire(10)

超额消费了10个令牌,而下一个消费需要等待超额消费的时间,所以等待了近2秒钟的时间,而后又开始匀速处理请求

 

由于上面的方式允许突发,很多人可能担心这种突发对于系统来说如果扛不住可能就造成崩溃。那针对这种情况,大家希望能够从慢速到匀速地平滑过渡。Guava当然也提供了这样的实现:

public class GuavaDemo {
    // 每秒钟5个令牌
    static RateLimiter limiter = RateLimiter.create(5);
    
    public static void main(String[] args) throws InterruptedException {
        final RateLimiter limiter2 = RateLimiter.create(5, 1, TimeUnit.SECONDS);
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
        System.out.println(limiter2.acquire());
    }
}

输出:

0.0
0.51798
0.353722
0.216954
0.195776
0.194903
0.194547

我们看到,速率从0.5慢慢地趋于0.2,平滑地过渡到了匀速状态。

 

RateLimter 还提供了tryAcquire()方法来判断是否有够的令牌,并即时返回结果,如:

public class GuavaDemo {
    public static void main(String[] args) throws InterruptedException {
        final RateLimiter limiter = RateLimiter.create(5, 1, TimeUnit.SECONDS);
        for (int i = 0; i < 10; i++) {
            if (limiter.tryAcquire()) {
                System.out.println("处理业务");
            }else{
                System.out.println("限流了");
            }
        }
    }
}

输出:

处理业务
限流了
限流了
限流了
限流了
限流了
限流了
限流了
限流了
限流了

 

以上,就是单实例系统的应用级接口限流方式。

 

参考:

http://jinnianshilongnian.iteye.com/blog/2305117

 

限流(二)接口限流

标签:creat   时间戳   rate   public   访问量   time   blog   简单   exe   

原文地址:https://www.cnblogs.com/lay2017/p/9062326.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!