美文网首页
大数据系统之任务调度[2]

大数据系统之任务调度[2]

作者: haitaoyao | 来源:发表于2016-05-22 21:57 被阅读409次

    接上大数据系统之任务调度[1], 记录一下我写的一个最简单的调度系统.


    系统结构

    job_server.jpg
    • Trigger 依靠 Server 上的 crontab. 自带 cron 表达式解析

    • Job Shell 模块负责跟 Job Server 交互, 本身仅仅是套在任务外面的一个脚本:

      • 任务启动前请求 Job Server 模块, 询问本任务的所有前置任务是否都已经成功完成.
        • 一旦前置任务都已经成功, 正常启动本任务
        • 如果前置任务还在执行, 进入 for 循环等待
        • 如果有前置任务失败, 直接告知 Job Server 任务由于前置任务失败而退出
    • Job Server 模块

      • 维护任务的依赖关系数据
      • 负责接受 Job Shell 脚本请求, 决定任务是否应该执行
      • 负责记录所有任务的状态
      • 负责根据规则告警
      • 提供简单 UI, 供 Admin 调试
    • 代码部署流程

      • 每个开发负责自己任务的代码部署
      • 设置 Server 上的 crontab.
      • 在 Job Server 上配置任务的依赖.

    整个项目只有几百行代码.

    本系列完.
    -- EOF --

    相关文章

      网友评论

          本文标题:大数据系统之任务调度[2]

          本文链接:https://www.haomeiwen.com/subject/czxarttx.html