美文网首页
spring 分布式锁 SchedulerLock

spring 分布式锁 SchedulerLock

作者: 技术文青 | 来源:发表于2019-10-11 15:26 被阅读0次

    (spring 分布式锁 SchedulerLock,整合redis冲突、jdbc异常问题)

    ### 简介

    ShedLock的作用,确保任务在同一时刻最多执行一次。如果一个任务正在一个节点上执行,则它将获得一个锁,该锁将阻止从另一个节点(或线程)执行同一任务。**如果一个任务已经在一个节点上执行,则在其他节点上的执行不会等待,只需跳过它即可** 。

    ShedLock使用Mongo,JDBC数据库,Redis,Hazelcast,ZooKeeper或其他外部存储进行协调,即通过外部存储来实现锁机制。

    ### 用法

    - 启用和配置计划的锁定

    - 注释您的计划任务

    -  配置锁提供者

    此处以jdbc数据库方式为例,如需要使用其他外部存储方式,对应修改shedlock-provider。

    ##### 启用和配置计划的锁定

    - 导入schedulerLock项目

    **gradle方式**

    ```javascript

    // shedlock 项目 , 2.1.0稳定版

    compile('net.javacrumbs.shedlock:shedlock-provider-jdbc-template:2.1.0')

    // JDBC ,匹配shedlock的2.2.0版

    compile('net.javacrumbs.shedlock:shedlock-spring:2.2.0')

    ```

    **Maven方式**

    ```javascript

    // shedlock 项目 , 2.1.0稳定版

    <dependency>

        <groupId>net.javacrumbs.shedlock</groupId>

        <artifactId>shedlock-spring</artifactId>

        <version>2.1.0</version>

    </dependency>

    // JDBC ,匹配shedlock的2.2.0版

    <dependency>

        <groupId>net.javacrumbs.shedlock</groupId>

        <artifactId>shedlock-provider-jdbc-template</artifactId>

        <version>2.2.0</version>

    </dependency>

    ```

    - 启用SchedulerLock

      使用@EnableSchedulerLock注释将库集成到Spring中。

    ```javascript

    import net.javacrumbs.shedlock.spring.annotation.EnableSchedulerLock;

    import org.mybatis.spring.annotation.MapperScan;

    import org.springframework.boot.SpringApplication;

    import org.springframework.boot.autoconfigure.SpringBootApplication;

    import org.springframework.boot.web.servlet.ServletComponentScan;

    import org.springframework.scheduling.annotation.EnableScheduling;

    import org.springframework.transaction.annotation.EnableTransactionManagement;

    // 开启定时任务注解

    @EnableScheduling

    // 开启定时任务锁,默认设置锁最大占用时间为30s

    @EnableSchedulerLock(defaultLockAtMostFor = "PT30S")

    @MapperScan(basePackages="cn.pilipa.finance.salary.persistence")

    @ServletComponentScan

    public class SalaryApplication {

    public static void main(String[] args) {

    SpringApplication.run(SalaryApplication.class, args);

    }

    }

    ```

    ##### 注释计划任务

    - 在定时任务上添加@SchedulerLock注解

    ```javascript

    import net.javacrumbs.shedlock.core.SchedulerLock;

    ...

    @Scheduled(...)

    @SchedulerLock(name = "scheduledTaskName")

    public void scheduledTask() {

      // do something

    }

    ```

    ##### 配置锁提供者

    - 创建提供锁的外部存储(jdbc、redis、MongoDB...)

    例 :    JDBC ,创建表结构

    ```javascript

    CREATE TABLE shedlock(

        name VARCHAR(64) ,

        lock_until TIMESTAMP(3) NULL,

        locked_at TIMESTAMP(3) NULL,

        locked_by  VARCHAR(255),

        PRIMARY KEY (name)

    )

    ```

    说明

    |属性|说明  |

    |--|--|

    | name | 锁名称 ,name必须是主键|

    | lock_until | 释放锁时间 |

    | locked_at |  获取锁时间|

    | locked_by |  锁提供者|

    DB形式的外部存储需要创建表结构,redis等非结构形式的外部存储template会根据@SchedulerLock声明的锁名称自动创建对应的键值对,提供锁。

    - 配置Bean

    ```javascript

    import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider;

    ...

    @Bean

    public LockProvider lockProvider(DataSource dataSource) {

        return new JdbcTemplateLockProvider(dataSource);

    }

    ```

    ### SchedulerLock 参数

    - **@SchedulerLock**

    只有带注释的方法被锁定,库忽略所有其他计划的任务。您还必须指定锁的名称。同一时间只能执行一个任务。

    - **name**

    分布式锁名称,注意 锁名称必须唯一。

    - **lockAtMostFor & lockAtMostForString**

    指定在执行节点死亡时应将锁保留多长时间。这只是一个备用选项,在正常情况下,任务完成后立即释放锁定。 您必须将其设置lockAtMostFor为比正常执行时间长得多的值。如果任务花费的时间超过 lockAtMostFor了所导致的行为,则可能无法预测(更多的进程将有效地持有该锁)。

    lockAtMostFor 单位 毫秒

    lockAtMostForString  使用“ PT14M” 意味着它将被锁定不超过14分钟。

    - **lockAtLeastFor & lockAtLeastForString**

    该属性指定应保留锁定的最短时间。其主要目的是在任务很短且节点之间的时钟差的情况下,防止从多个节点执行。

    `例:假设您有一个任务,每15分钟执行一次,通常需要花费几分钟才能运行。此外,您希望每15分钟最多执行一次。在这种情况下,您可以像这样配置`

    ```javascript

    @Scheduled(fixedDelay = 1000*60*15)

    @SchedulerLock(name = "queryRechargeBill", lockAtMostFor = 1000*60*15, lockAtLeastFor = 1000*60*5)

    public void queryRechargeBill(){

    // do something

    }

    ```

    该锁将持有5分钟,5分钟释放,当节点异常或者死亡,该锁默认在15分钟后自动释放。在正常情况下,ShedLock在任务完成后立即释放锁定。实际上,我们不必这样做,因为@EnableSchedulerLock中提供了默认值,  但我们选择在此处覆盖它。

    ###  版本冲突问题

    - jdbc外部存储实现 启动报错 

    `nested exception is org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type 'org.springframework.data.redis.connection.RedisConnectionFactory' available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {}`

    该问题是因为项目中的redis自定义bean造成的,使用的redis jar(org.springframework.data:spring-data-redis),造成版本冲突。解决方法:

    更换redis库

    ```css

    compile('org.springframework.boot:spring-boot-starter-parent:2.0.2.RELEASE')

    compile('org.springframework.boot:spring-boot-starter-data-redis')

    ```

    - redis 外部存储实现 启动报错

    shedlock-provider-redis-spring 与 org.springframework.data:spring-data-redis 冲突,

    `java.lang.NoSuchMethodError: org.springframework.data.redis.connection.RedisConnection.set([B[BLorg/springframework/data/redis/core/types/Expiration;Lorg/springframework/data/redis/connection/RedisStringCommands$SetOption;)Ljava/lang/Boolean;`

      解决方法,更换低版本的 shedlock,这里我选择的是1.8.2版本

      * 如果您依赖spring-data-redis 2-请使用ShedLock 1.xx

      * 如果您依赖spring-data-redis 1-请使用ShedLock 0.xx

      * 在所有其他情况下,您可以使用两个版本,最好是1.xx

    - 要求和依赖性

    Java 8

    SLF4J的API

    Spring框架(可选)

    ###  故障排除

    1. 检查存储。如果使用的是JDBC,请检查ShedLock表。如果为空,则未正确配置ShedLock。如果有多个同名记录,则您缺少主键。

    2. 使用ShedLock调试日志。ShedLock使用记录器名称在DEBUG级别记录有趣的信息net.javacrumbs.shedlock。它应该可以帮助您了解正在发生的事情。

    3. 对于短期任务,请考虑使用lockAtLeastFor。如果任务是短期运行的,它们可以一个接一个地执行,lockAtLeastFor可以防止执行。

    4. 如果遇到奇怪的错误,抱怨代理不是proxy类,ThreadPoolTaskScheduler请检查https://github.com/lukas-krecan/ShedLock/issues/115或 此StackOverflow问题

    ###  总结

    ShedLock支持两种模式的Spring集成,分别是 预定方法代理、TaskScheduler代理。我们默认选择最简单也是最实用的方式:预定方法代理(即 @SchedulerLock 的形式),ShedLock会围绕每个带有@SchedulerLock注释的方法创建AOP代理。这种方法的主要优点是它不依赖于Spring调度。缺点是即使直接调用该方法也会应用锁定。还应注意,当前仅支持返回void的方法,如果您注释并调用具有非void返回类型的方法,则会引发异常。

    预定方法代理 ![预定方法代理 流程图](https://img.haomeiwen.com/i9582479/fbedc872ee6eff3a?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

    由于大多数项目都依赖redis缓存,此处建议使用jdbc方式提供外部存储,可以避免很多版本间互相冲突的问题。如果对TaskScheduler代理方式有兴趣,可以参考源码。

    [ShedLock源码库](https://github.com/lukas-krecan/ShedLock)

    相关文章

      网友评论

          本文标题:spring 分布式锁 SchedulerLock

          本文链接:https://www.haomeiwen.com/subject/kcvqpctx.html