美文网首页程序员
分布式调度与计算框架:OhMyScheduler

分布式调度与计算框架:OhMyScheduler

作者: 村口滕师傅 | 来源:发表于2020-05-14 10:38 被阅读0次

产品简介

oms-logo.png

OhMyScheduler是基于Akka架构的一款分布式调度平台与分布式计算框架(对标 Alibaba SchedulerX2.0),其主要功能特性如下:

  • 使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。
  • 定时策略完善:支持CRON表达式、固定频率、固定延迟和API四种定时调度策略。
  • 执行模式丰富:支持单机、广播、Map、MapReduce四种执行模式,其中Map/MapReduce处理器能使开发者用简便的方法获取分布式计算的能力。
  • 执行器支持广泛:支持Spring Bean、普通Java对象、Shell、Python等处理器,应用范围广(比如广播执行+Shell脚本用来清理日志)
  • 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低debug成本,极大地提高开发效率。
  • 依赖精简:最小仅依赖关系型数据库(MySQL/Oracle/MS SQLServer...),扩展依赖为MongoDB(用于存储庞大的在线日志)。
  • 高可用&高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。
  • 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。

项目地址:GitHub OR Gitee

适用场景

  • 有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表等
  • 有需要全部机器一同执行的业务场景:如日志清理
  • 有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长,可以使用Map/MapReduce处理器完成任务的分发,调动整个集群加速计算。

系统设计

oms-skt

整个系统由两部分组成,分别是调度器和执行器,这里先简单介绍,日后会写文章详细剖析技术细节与实现原理(所以是不是应该点一波关注呢?[滑稽]

  • 调度器:基于SpringBoot的后台应用,对外提供前端页面,包括任务的增删改查、在线运维监控等;对内负责任务的调度与派发。
  • 执行器:需要宿主应用启动的jar包,负责接收来自调度器的执行请求,并根据开发者开发的任务处理器完成相应的任务处理。

接入指南(超详细文档4连)

  1. 项目部署及初始化
  2. 处理器开发
  3. 任务配置与在线查看
  4. 强大灵活的扩展——OpenAPI

后记

  • 自吹自擂一波:本项目涉及大量分布式系统设计知识,自认为代码质量优秀,欢迎大家使用+交流+指导~
  • 欢迎共同参与本项目的贡献,PR和Issue都大大滴欢迎(求求了)~

相关文章

网友评论

    本文标题:分布式调度与计算框架:OhMyScheduler

    本文链接:https://www.haomeiwen.com/subject/qagznhtx.html