美文网首页spring
分布式定时任务调度框架

分布式定时任务调度框架

作者: 黄海佳 | 来源:发表于2020-08-24 14:07 被阅读0次

一、前言

在开发中会有定时任务的场景需要用到定时任务,如订单超时需要自动取消订单、数据需定时备份、定时短信邮件的发送等,如此涉及到几个概念:

  • 任务:业务逻辑的实现,如定时生日短信发送
  • 调度器:根据配置(cron表达式)来告知执行器去执行任务
  • 执行器:任务执行的载体

二、springBoot中的实现

1、代码实现
@Configuration
@EnableScheduling//标识这个类是定时任务类
@EnableAsync//定义这个类可以用异步线程
public class MyTask{
  @Scheduled(cron = "* * * * * ?")//cron可以分为6个参数或者7个参数【秒、分、时、天、月、周、年】
  @Async//定义该方法用异步
  publicvoid task(){}
}

其中我们查看timer的源码可以发现,timer内部加了同步锁,同一个timer默认是单线程的定时任务,如果任务持续时间较长,就会将后续定时任务拖延,导致丢失任务。

2、spring中定时任务存在的问题
  • 不支持集群部署:比如你启动三个实例,每个实例都会去触发执行器去执行“优惠券要过期给用户发送一个提醒”这个任务,这时候就产生了重复执行的问题。
  • 通常是单机部署的,单机就存在挂掉的风险。
  • 不支持失败重试:出现异常后任务终结,不能根据执行状态,控制任务重新执行
  • 不支持动态管理:不重启任务情况下,关闭和启动任务,修改cron表达式等。
  • 无报警:任务失败后不能发送报警通知
  • 不支持分片任务

三、XXL-JOB简要介绍

地址:https://gitee.com/xuxueli0323/xxl-job/https://github.com/xuxueli/xxl-job

XXL-JOB是一个轻量级分布式任务调度平台,其实现原理是:调度中心会配置 cron表达式,路由策略,处理类的bean实例,执行器需要向调度中心发生心跳,对于长时间没有收到心跳的执行器,调度中心会将其剔除
其中在高可用过程中xxl-job-admin是通过xxl_job_qrtz_locks表来竞争数据库锁保证多个调度中心分发任务只分发一次


image.png

以下是xxl-job的架构图


image.png

四、PowerJob简要介绍

地址:https://github.com/KFCFans/PowerJob

架构图

五、定时任务调度框架的对比

image.png

六、公司目前的技术选型是XXL-JOB,故用XXL-JOB用来开发实践

1、先把git上的文件clone下来,运行doc目录下的tables_xxl_job.sql
image.png
2、启动admin

修改admin中的配置文件,改成自己本地的信息

3、启动"执行器"
xxl-job-executor-sample-springboot/src/main/resources/application.properties配置说明


### 调度中心部署跟地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample

### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=

### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999

### 执行器通讯TOKEN [选填]:非空时启用;(注意与调度中心保持一致)
xxl.job.accessToken=

### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

### 执行器日志保存天数 [选填] :值大于3时生效,启用执行器Log文件定期清理功能,否则不生效;
xxl.job.executor.logretentiondays=-1

真是开箱即用,操作简单

相关文章

  • 分布式任务调度-xxl-job

    前言 为什么要使用分布式任务调度框架? 使用原因和解决问题是为了解决: 实现定时调度任务 将定时任务分布式部署 提...

  • 实战_资讯推荐场景中多路召回实践01

    召回服务框架 任务调度平台 主流的任务调度框架airflow airflow是一款开源的,分布式任务调度框架,它将...

  • 对分布式任务调度的理解

    1.什么是分布式任务调度 分布式任务调度就是在分布式环境下,定时任务的管理与执行 2.分布式任务调度的特性 分布式...

  • 关于任务定时调度

    Tags:定时作业调度 分布式定时任务调度 Quartz TBSchedule Elastic-job 基于给定...

  • 定时任务

    1.分布式定时任务原理 更强大的新一代分布式任务调度框架来了【重要】 2.SpringBoot多线程环境下,解决多...

  • 思考--xxl-job简单的记录

    为何选择xxl-job这个任务调度框架? xxl-job 首先采用分布式任务调度框架,可以进行分布式部署, xxl...

  • 图解TbSchedule 工作流程

    TbSchedule是阿里开源的分布式定时任务调度框架, 竞品有当当的ElasticJob等. 而传统的Sprin...

  • 谈谈对分布式调度的理解

    文 平哥 | 20200519 分布式调度是什么? 调度:指的是定时任务分布式调度:指的就是在分布式集群环境下的...

  • 定时任务框架Quartz

    定时任务框架! 定时任务就是分为三个模块:任务、触发器、调度器 过程就是,调度器协调触发器来再固定时间去触发任务!

  • 分布式定时任务调度框架

    1. 目标 把定时任务通过集群的方式进行管理调度,并采用分布式部署,保证系统的高可用,提高了容错。那么如何保证定时...

网友评论

    本文标题:分布式定时任务调度框架

    本文链接:https://www.haomeiwen.com/subject/zxggjktx.html