shedLock现在一次只执行一个实例的方法+redis实现分布式定时任务

原文地址: https://blog.csdn.net/qq_32182637/article/details/111871188

https://blog.csdn.net/qq_35913663/article/details/124910631

写在前面

本篇文章仅作为近日参考其他文章后,自己实践的记录和总结,场景到细节尚有很多不足,有待补充和修正。

概述

ShedLock只做一件事。它可以确保计划的任务在同一时间最多执行一次。如果任务正在一个节点上执行,它将获得一个锁,该锁阻止从另一个节点(或线程)执行相同的任务。请注意,如果一个任务已经在一个节点上执行,那么在其他节点上的执行不会等待,只会跳过它。

目前,支持通过Mongo、JDBC数据库、Redis、Hazelcast或ZooKeeper协调的Spring计划任务。预计未来会有更多的时间安排和协调机制。

ShedLock需要使用@SchedulerLock注解来为某个方法实现锁,分布式场景是其应用的主要且典型的场景,但这并不代表ShedLock仅能使用在分布式上,这取决于你理解他的原理后如何去使用它。

ShedLock原理简析

ShedLock的原理很简单,首先来看@SchedulerLock注解类:

@Target({ElementType.METHOD, ElementType.ANNOTATION_TYPE})

@Retention(RetentionPolicy.RUNTIME)

public @interface SchedulerLock {

    String name() default "";

    long lockAtMostFor() default -1L;

    String lockAtMostForString() default "";

    long lockAtLeastFor() default -1L;

    String lockAtLeastForString() default "";

}

1

2

3

4

5

6

7

8

9

10

11

12

13

根据注解类可知

可以使用在方法(ElementType.METHOD)上,这是该注解的常用方式

可以使用在其他注解类上(ElementType.ANNOTATION_TYPE)上,此种情景我尚不知道如何应用,有过简单的尝试,但是没有想要的效果

name属性表示锁的名称,区分大小写

lockAtMostFor占用锁的最长时间,单位毫秒

lockAtMostForString 占用锁的最长时间,字符类型,"PT1S"表示1秒,"PT1M"表示1分钟,如果与lockAtMostFor属性同时设置,以lockAtMostFor 为准

lockAtLeastFor 占用锁的最短时间,单位毫秒

lockAtLeastForString 占用锁的最短时间,字符类型,"PT1S"表示1秒,"PT1M"表示1分钟,如果与lockAtLeastFor 属性同时设置,以lockAtLeastFor 为准

ShedLock的实现依赖外部存储,包括常规的数据库、redis缓存等,然而无论选用哪种方式,存储的数据内容都基本一致,以mysql数据库为例:

字段名 说明

name 锁的名称,唯一值,区分大小写

lock_until 锁占用的结束时间= locked_at +lockAtMostFor

locked_at 开始占用锁的时间

locked_by 占用者,通常是主机名

观察源码可以发现,在需要获取锁的时候,会尝试向shedlock表插入一条记录,而name作为主键,如果不存在相同名称的锁,则插入记录,并成功占用该锁

INSERT INTO  shedlock(name, lock_until, locked_at, locked_by) VALUES(?, ?, ?, ?)

1

如果已经存在同名的锁,则将违反主键唯一约束,插入失败,此时会尝试筛选出shedlock表中锁名称相同并且已经释放(lock_until<当前时间)的记录,如果有符合条件的,则更新该记录,并成功占用该锁

UPDATE shedlock SET lock_until = ?, locked_at = ?, locked_by = ? WHERE name = ? AND lock_until <= ?

1

如果没能筛选出符合条件的记录,则代表获取锁失败,将会放弃本次执行任务。

在任务方法执行完成后,如果当前时间还未超过lock_until时间,则更新记录的lock_until时间为locked_at+lockAtLeastFor ,即将占用锁的时长改为最低时长

此外需要注意的是ShedLock是基于时间的锁机制,在分布式情景中,如果不同节点部署在不同的主机上,将默认使用主机的时间,这时则需要强调各主机之间的时间同步,当然在较高版本的依赖包中,会提供设置使用外部存储的主机时间,如数据库主机时间

更多详情可以参考另一篇文章《SchedulerLock 分布式锁 原理》

ShedLock+Mysql

首先需要导入依赖

<!--此依赖是shedlock核心依赖包,与spring接洽,有时候版本不对会导致不生效-->

<dependency>

   <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-spring</artifactId>

    <version>2.2.0</version>

</dependency>

<!--数据库访问所需-->

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-provider-jdbc-template</artifactId>

    <version>2.2.0</version>

</dependency>

1

2

3

4

5

6

7

8

9

10

11

12

创建数据库表

CREATE TABLE shedlock (

  name varchar(64) COLLATE utf8mb4_bin NOT NULL,

  lock_until timestamp(3) NOT NULL,

  locked_at timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),

  locked_by varchar(255) COLLATE utf8mb4_bin NOT NULL,

  PRIMARY KEY (name)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

1

2

3

4

5

6

7

实现配置类,以提供LockProvider

import net.javacrumbs.shedlock.core.LockProvider;

import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider;

import net.javacrumbs.shedlock.spring.annotation.EnableSchedulerLock;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.jdbc.core.JdbcTemplate;

import org.springframework.scheduling.annotation.EnableScheduling;

import javax.sql.DataSource;

import static net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider.Configuration.builder;

@Configuration

@EnableScheduling

@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")

public class SchedulerConfiguration {

    @Bean

    public LockProvider lockProvider(DataSource dataSource) {

//可以自定义数据源,可以作为一种考虑,一般不使用这个

        org.apache.tomcat.jdbc.pool.DataSource dataSource1 = new org.apache.tomcat.jdbc.pool.DataSource();

        dataSource1.setUrl("jdbc:mysql://127.0.0.1:3601/ICSP?useUnicode=true&characterEncoding=utf8&useSSL=false");

        dataSource1.setUsername("tom");

        dataSource1.setPassword("tommy");

        LockProvider lockProvider= new JdbcTemplateLockProvider(builder()

 //指定表名

                .withTableName("shedlock")

                //指定数据源,一般使用dataSource而非手动定义的数据源

                .withJdbcTemplate(new JdbcTemplate(dataSource1))

                //指定表字段名称,字段数量固定,只能改名称,且只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项

//                .withColumnNames(new JdbcTemplateLockProvider.ColumnNames("name","lock_until","locked_at","locked_by"))

//使用数据库时间,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项

//                .usingDbTime()

//作用未知,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项

//                .withLockedByValue("myvalue")

//作用未知,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项

//                .withIsolationLevel(1)

                .build());

        return  lockProvider;

    }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

关于以上配置,需要做一些补充说明:

@EnableScheduling是在使用定时任务的时候才需要加上,这也是shedlock最典型的应用场景

@EnableSchedulerLock注解除了可以设置默认的占用锁最长最短时间外,还有一个mode参数,可供设置的值有

值 说明

EnableSchedulerLock.InterceptMode.PROXY_SCHEDULER 与@Scheduled搭配使用

EnableSchedulerLock.InterceptMode.PROXY_METHOD 单独使用在方法上,这意味着只要该方法被调用,则会尝试占用锁,这也是shedlock的另一种使用场景

shedlock-provider-jdbc-template版本新增JdbcTemplateLockProvider.Configuration.builder方法对照

版本 新增方法

4.1.0 .withColumnNames

.withLockedByValue

4.9.0 .usingDbTime

4.27.0 .withIsolationLevel

4.使用较高的shedlock-provider-jdbc-template依赖版本的话,也需要使用使用较高版本的shedlock-spring依赖版本,否则在执行时会报错。而如果使用了较高的shedlock-spring依赖版本,则可能还需要和spring context的依赖版本(只是猜测,具体是哪个依赖未能确认)相匹配,可以确认的是,过高的shedlock-spring依赖版本会导致注册Task的时候,不会将任务设置为LockabaleRunable,而是普通的ScheduledMethodRunable,直接的影响就是定时任务shedlock失效。

所以在这我只是发现问题,但是如何解决尚不得而知,如果各位有知道 想要使用4.27.0及以上版本的shedlock-provider-jdbc-template依赖时 其他的依赖包可以使用的版本搭配,欢迎告知

然后就可以使用@SchedulerLock注解啦

ShedLock+Redis

1.pom文件

redis必须项:

<dependency>

    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-data-redis</artifactId>

</dependency>

shedlock必须项:

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-spring</artifactId>

    <version>4.19.1</version>

</dependency>

shedlock可选项(此处采用redis实现,也可采用其他数据库,详见官网https://github.com/lukas-krecan/ShedLock):

<dependency>

    <groupId>net.javacrumbs.shedlock</groupId>

    <artifactId>shedlock-provider-redis-spring</artifactId>

    <version>2.5.0</version>

</dependency>

————————————————

@Configuration

@EnableScheduling

@EnableSchedulerLock(defaultLockAtMostFor = "10m")

public class ShedLockConfig {

    @Resource

    RedisTemplate<String, Object> redisTemplate;


    @Bean

    public LockProvider lockProvider() {

        return new RedisLockProvider(redisTemplate.getConnectionFactory());

    }

}

@Slf4j

@Component

public class TaskRun {


    @Scheduled(cron = "0 0 */1 * * ?")

    @SchedulerLock(name = "fylr")

    public void fylr() {

        System.out.println("run ...");

    }

}

ShedLock+Mongo

待补充

ShedLock+ZooKeeper

待补充

————————————————

版权声明:本文为CSDN博主「赵加恩」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_35913663/article/details/124910631

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容