Oozie的作用

作者: 裘马轻狂大帅 | 来源:发表于2019-05-31 07:43 被阅读1次

    Oozie是一个开源的工作流调度系统,它能够管理逻辑复杂的多个Hadoop作业,按照指定的顺序将其协同运行起来。

     1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等

      2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达,开发效率提高

      3、一组任务使用一个DAG来表示,使用图形表达流程逻辑更加清晰

      4、支持很多种任务调度,能完成大部分hadoop任务处理

      5、程序定义支持EL常量和函数,表达更加丰富

    Oozie的主要功能包括:组织各种工作流(包括Pig、Hive等),以规定方式执行工作流(包括定时任务、定数任务、数据促发任务等),托管工作流(包括命令行接口,任务失败时的通知机制,如邮件通知等)

      由于,需要存储工作流信息,为提高可靠性,确保任务配置不丢失,Oozie内部使用数据库来存储工作流相关信息,用户可以使用Oozie内嵌的Derby数据库,也可以使用MySQL、PostgreSQl、Orcale等数据库。

    相关文章

      网友评论

        本文标题:Oozie的作用

        本文链接:https://www.haomeiwen.com/subject/fyuitctx.html