Airflow内置了一个简单的插件管理器，可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文件，将外部功能集成到其核心。
plugins文件夹中的python模块将被导入， 钩子 ， 操作符 ， 传感器 ， 宏 ， 执行器和Web 视图将集成到Airflow的主要集合中，并可供使用。
做什么的？
Airflow提供了一个用于处理数据的通用工具箱。 不同的组织有不同的堆栈和不同的需求。 使用Airflow插件可以让公司定制他们的Airflow安装以反映他们的生态系统。
插件可以用作编写，共享和激活新功能集的简便方法。
还需要一组更复杂的应用程序来与不同风格的数据和元数据进行交互。
例子：
- 一组用于解析Hive日志和公开Hive元数据（CPU / IO /阶段/倾斜/ ...）的工具
- 异常检测框架，允许人们收集指标，设置阈值和警报
- 审计工具，帮助了解谁访问了什么
- 配置驱动的SLA监控工具，允许您设置受监控的表以及应该在何时着陆，提醒人员并公开停机的可视化
- ...
网友评论