美文网首页程序员ApacheCN
Airflow 中文文档:调度和触发器

Airflow 中文文档:调度和触发器

作者: 布客飞龙 | 来源:发表于2018-11-29 17:58 被阅读1次

    Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例。 在幕后,它监视并与其可能包含的所有DAG对象的文件夹保持同步,并定期(每分钟左右)检查活动任务以查看是否可以触发它们。

    Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始,您需要做的就是执行airflow scheduler 。 它将使用airflow.cfg指定的配置。

    请注意,如果您在一天的schedule_interval上运行DAG,则会在2016-01-01T23:59之后不久触发标记为2016-01-01的运行。 换句话说,作业实例在其覆盖的时间段结束后启动。

    让我们重复一遍调度schedule_interval在开始日期之后,在句点结束时运行您的作业一个schedule_interval

    调度程序启动airflow.cfg指定的执行程序的实例。 如果碰巧是LocalExecutor ,任务将作为子LocalExecutor执行; 在CeleryExecutorMesosExecutor的情况下,任务是远程执行的。

    要启动调度程序,只需运行以下命令:

     airflow scheduler
    
    

    DAG运行

    DAG Run是一个表示DAG实例化的对象。

    阅读全文/改进本文

    相关文章

      网友评论

        本文标题:Airflow 中文文档:调度和触发器

        本文链接:https://www.haomeiwen.com/subject/konfcqtx.html