Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例。 在幕后,它监视并与其可能包含的所有DAG对象的文件夹保持同步,并定期(每分钟左右)检查活动任务以查看是否可以触发它们。
Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始,您需要做的就是执行airflow scheduler
。 它将使用airflow.cfg
指定的配置。
请注意,如果您在一天的schedule_interval
上运行DAG,则会在2016-01-01T23:59
之后不久触发标记为2016-01-01
的运行。 换句话说,作业实例在其覆盖的时间段结束后启动。
让我们重复一遍调度schedule_interval
在开始日期之后,在句点结束时运行您的作业一个schedule_interval
。
调度程序启动airflow.cfg
指定的执行程序的实例。 如果碰巧是LocalExecutor
,任务将作为子LocalExecutor
执行; 在CeleryExecutor
和MesosExecutor
的情况下,任务是远程执行的。
要启动调度程序,只需运行以下命令:
airflow scheduler
DAG运行
DAG Run是一个表示DAG实例化的对象。
网友评论