Airflow 有关task并行度的问题

有三个参数可以用来控制airflow运行的并行度

• parallelism ：这是用来控制每个airflow worker 可以同时运行多少个task实例。这是airflow集群的全局变量。在airflow.cfg里面配置
• concurrency ：这个用来控制 每个dag运行过程中最大可同时运行的task实例数。如果你没有设置这个值的话，scheduler 会从airflow.cfg里面读取默认值 dag_concurrency
• max_active_runs : 这个是用来控制在同一时间可以运行的最多的dag runs 数量。这里需要解释一下dag runs ，比如你的dag设置的每天运行，那么在天的时间段内运行某个dag就算是一个dag runs 。按道理每天只会执行一次，但是保不齐，你前天和大前天的dag都没运行，那么就需要补跑，或者你在某一次定时dag触发了之后，又手动触发了，那么就存在，同一个时间点有多个dag runs 。这个参数就是控制这个最大的dag runs