限流令牌桶实现

作者: Cc_7397 | 来源:发表于2019-11-14 15:27 被阅读0次

限流令牌桶实现

我们redis最开始的限流只是用Semaphore信号量来限流,一个请求先acquire 然后在release

但是这样的方法没有时间的概念,限流情况并不好。

比如Semaphore容量为1000,一个请求耗时100ms,那么理论的1s的最大流量应该是

1000/10 * 1000 **一秒一个并发可以走10个请求,最多1000并发 **

具体的qps是和请求执行时间有关的。

令牌桶

令牌桶可以保证最大qps为固定值,原来为先有一个固定容量的桶来存令牌。每个请求要先从桶中拿到令牌才能进行。然后拿不到就堵塞。

一个单独的线程以一定频率向桶中放令牌,这个发入得流量就是限流的最大流量

实现

先定义一个接口

public interface Limit {

    void acquire() throws InterruptedException;

    void release();
}

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.concurrent.Semaphore;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.concurrent.locks.LockSupport;

public class TokenBucket implements Limit {

    private static final Logger LOGGER = LoggerFactory.getLogger(TokenBucket.class);
    //线程index
    private static final AtomicInteger INTEGER = new AtomicInteger();
    //信号量
    private Semaphore semaphore;

    private int putSize;
    private long time;
    private TimeUnit timeUnit;
    //名称
    private String name;
    //put令牌的线程
    private Thread putThread;
    //标志位
    private volatile boolean isStop = true;

    public TokenBucket(int initSize, int putSize, long time, TimeUnit timeUnit) {
        this(TokenBucket.class.getName(), initSize, putSize, time, timeUnit);
    }

    public TokenBucket(String name, int initSize, int putSize, long time, TimeUnit timeUnit) {
        this.name = name;
        this.semaphore = new Semaphore(initSize);
        this.putSize = putSize;
        this.time = time;
        this.timeUnit = timeUnit;
        start();
    }

    //获取令牌
    @Override
    public void acquire() throws InterruptedException {
        if (!isStop) {
            semaphore.acquire(1);
        }
    }
    //释放令牌 (什么也不做)
    @Override
    public void release() {
        //do nothing
    }

    private void start() {
        isStop = false;
        Thread thread = new Thread(() -> {
            while (true) {
                if (Thread.currentThread().isInterrupted()) {
                    if (isStop) {
                        LOGGER.info("TokenBucket " + name + " shutdown ");
                        return;
                    }
                }
                put(putSize, time, timeUnit);
            }
        }, "TokenBucket_thread_" + name + "_" + INTEGER.getAndIncrement());
        this.putThread = thread;
        thread.start();
    }

    private void put(int putSize, long time, TimeUnit timeUnit) {
        semaphore.release(putSize);
        //挂起线程,可响应中断
        LockSupport.parkNanos(name, timeUnit.toNanos(time));
    }

    //停止限流
    public void shutdown() {
        isStop = true;
        //中断 put线程
        putThread.interrupt();
    }

}

上面的代码可以严格保证最大qps。

如果想让流量的曲线更平滑可以增加put的频率,减小每次put的大小

问题

如果下游系统出了问题,响应时间非常长,但是令牌桶在发令牌时是不去考虑下游系统的。

最好可以配合熔断和快速失败来做。

相关文章

  • 基于令牌桶算法的Java限流实现

    项目需要使用限流措施,查阅后主要使用令牌桶算法实现,为了更灵活的实现限流,就自己实现了一个简单的基于令牌桶算法的限...

  • 限流令牌桶实现

    限流令牌桶实现 我们redis最开始的限流只是用Semaphore信号量来限流,一个请求先acquire 然后在r...

  • 基础架构 | 限流算法

    限流算法 令牌桶算法 漏桶算法

  • 漏桶算法与令牌桶算法的区别

    令牌桶算法是通过控制令牌生成的速度进行限流,漏桶算法是控制请求从桶中流出的速度进行限流。简单理解为:令牌桶控制进,...

  • SpringBoot基于RateLimiter+AOP动态的为不

    一 限流实现: RateLimiter是guava提供的基于令牌桶算法的实现类,可以非常简单的完成限流特技,并且根...

  • Guava RateLimiter的实现

    限流 高并发系统有三大利器:缓存 、限流 、降级。对于限流的实现,有多种算法:计数器,漏桶法,令牌桶法。计数器法无...

  • 限流和RateLimiter及分布式限流方案

    总结 本文主要写了常见的两种限流算法漏桶算法与令牌桶算法,并且演示了Guava中RateLimiter的实现。令牌...

  • 掌上先机2021-06-25

    研发效能平台的架构 eureka是怎么使用的 限流是怎么实现的,Guava的令牌桶原理 除了令牌桶还有别的方式吗?...

  • Nginx 限流配置(转)

    限流算法: 1. 令牌桶算法 算法思想是: 令牌以固定速率产生,并缓存到令牌桶中;令牌桶放满时,多余的令牌被丢弃;...

  • Nginx限流配置(转载)

    1、限流算法 令牌桶算法 算法思想是:a、令牌以固定速率产生,并缓存到令牌桶中;b、令牌桶放满时,多余的令牌被丢弃...

网友评论

    本文标题:限流令牌桶实现

    本文链接:https://www.haomeiwen.com/subject/ayprictx.html