定时任务管理
一、定时任务管理系统目标
1. 系统本身需要可高可用，可对任务进行类似失败重试，任务超时，任务负载，故障转移，调度策略等配置
2. 可快速接入定时任务，对于程序语言(php, python, go, java等)可兼容
3. 任务失败可配置告警
基于上述的要求，选择xxl-job作为定时任务管理系统
二、系统介绍
image.png
三、xxl-job界面介绍
image.png
1. 用户管理：xxl-job-admin ui的用户体系管理
2. 执行器管理: 执行器是作为xxl-job集群调度的一个执行单元, 可由一个或多个组成, 可对执行器进行单个节点或多个节点(集群)的配置
a. 支持手动注册, 即界面上输入执行器的节点信息
b. 支持自动注册, 由各自节点上的执行器向xxl-job进行服务注册, 记录节点信息(存在可能由于网关或虚拟网络导致节点不可达)
3. 调度日志: 调度器执行定时任务所产生的日志查询界面
4. 运行报表: 提供xxl-job管理的一系列调度数据
5. 任务管理: 定时任务的管理curd, 下面会详细说
五、定时任务管理
image.png
xxl-job任务新增
image.png
对应的字段解释:
• 基础配置
1. 执行器: 执行器管理中的执行器选择
2. 任务描述: 任务描述，便于任务管理与查询
3. 负责人: 负责人
4. 报警邮件: 当任务执行失败时如果该字段有填写则会将失败信息发送到告警邮件中
• 调度配置
1. 调度类型:
a. 无: 不会自动触发, 需要通过节点触发任务
b. 固定速度(Second): 间隔多少秒自动触发执行一次任务
c. CRON: 根据crontab格式定时触发执行一次任务
• 任务配置
image.png
1. 运行模式: 为上图几种
2. JobHandler: 除开BEAN外，其他的几种运行模式该字段无效, BEAN模式下，该值为对应执行器中注册上来的JobHandler名称，任务执行时可以通过该名称到执行器上执行相应的任务
3. 任务参数: 任务参数
• 高级配置
image.png
1. 路由策略(参考): 可选项为上诉几种，作为调度器调度执行器的策略，效果如下:
a. 第一个: 固定使用执行器中的第一个机器执行任务
b. 轮询: 按照顺序调度执行器中的一个机器执行任务
c. 随机: 随机选择执行器中的一个机器执行任务
d. 一致性hash: 每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上
e. 最不常使用: 使用频率最低的机器优先被选举
f. 最近最久未使用: 最久未使用的机器优先被选举
g. 故障转移: 按照顺序依次对执行器中的机器进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度
h. 忙碌转移: 按照顺序依次执行器中的机器进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度
i. 分片广播: 执行器中的所有机器都会执行一次任务
2. 子任务ID: 每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度
3. 调度过期策略,(即服务重启，服务器资源不足，上次调度阻塞等原因都可能导致原本该触发的任务错过触发):
a. 忽略(默认): 调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间（适用于下次执行可以补救上次任务未执行, 比如本次数据库没更新, 那下次更新补上即可, 更新时间长久的区别不影响业务）
b. 立即执行一次: 调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间(适用于期望每次任务都能触发, 不希望要重新等待一个任务周期, 但需要考虑如果又再次超期，任务仍不会执行)
对于调度过期策略举个例子, 比如有个任务是每周一执行, 那么在触发调度过期策略时(即当次任务不执行), 默认则会忽略本次不执行，从而开始一个周期的等待，直到下周一再开始执行任务，而立即执行一次，则会立马执行一次任务
4. 阻塞处理策略(指任务的一次运行还没有结束的时候，下一次调度的时间又到了，要怎么处理，用于调度过于密集时执行器来不及处理时的处理策略):
a. 单机串行(默认): 调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行 (等待上一次任务执行完后, 才会执行, 容易造成堆积)
b. 丢弃后续调度: 调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败 (已经存在在执行的任务了, 本次任务标记为失败)
c. 覆盖之前调度: 调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务(停止还在执行的任务, 开始本次新的任务)
对于阻塞处理策略, xxl-job是一个分布式任务调度平台，它采用阻塞处理策略:
1.当任务发送请求时，xxl-job会将任务放入阻塞队列
2.任务将在阻塞队列中等待被处理，当任务被处理时，xxl-job会从阻塞队列中取出任务，同时将任务的状态改为“处理中”
3.xxl-job会监控任务的运行状态，如果发现任务正在运行，但是运行时间超过了预定的阈值，xxl-job将会将任务设置为“超时”状态，并把任务从阻塞队列中移除
4.一旦任务完成，xxl-job会将任务从阻塞队列中移除，并将任务的状态改为“完成”
5. 任务超时时间(默认为0): 大于0才有效, 超时后会主动中断任务
6. 失败重试次数: 任务失败时会根据失败重试次数进行重复任务执行
网友评论