什么是airflow
Airflow是Airbnb开发的用于管理工作流的开源项目，自带ui和调度，目前已成为Apache顶级项目。
airflow将调度任务构建成一个DAG，相比于azkaban利用压缩包zip，oozie用xml来编写任务依赖，airflow选择用python来灵活地编写任务以及其依赖。
airflow内置了很多operator，如果内置的operator无法满足要求，用户可以自定义operator来实现特有的功能。
本文将以以下几个方面，来进行airflow的安装：
- airflow架构
- 安装准备
- 配置
- 启动
- 问题
项目地址：airflow.apache.org
airflow架构
airflow中有webserver、scheduler、worker、flower几个组建，之间关系如下：
引自https://segmentfault.com/a/1190000012803744
安装准备
airflow是使用python进行编写的，所以环境中需要安装python，且python必须大于2.7，推荐3.x。
airflow各组件之间无强关联，可以单独安装和启动。
- 安装python（略）
- 安装mysql（略），默认使用的是sqlite，推荐使用mysql。
- 安装rabbitmq（略），本文使用redis，官方推荐使用rabbitmq
在需要安装的airflow的节点上使用[pip install airflow]安装
配置
第一次安装完成后，需要进行初始化数据库，使用命令：airflow initdb来进行数据库初始化。
初始化数据完成后，默认会在当前用户目录下创建一个airflow目录，里面有airflow的配置文件和默认的sqlite数据文件。位置信息全部都在${USER_HOME}/airflow/airflow.cfg文件中。
下面将修改主要配置信息：
- default_timezone： 时区，建议修改为Asia/Shanghai
- executor：执行的Executor，在生产环境建议修改为CeleryExecutor
- sql_alchemy_conn：元数据管理，默认使用的是sqlite，生产环境建议修改为mysql，如：mysql://airflow:airflow@192.168.1.100:3306/airflow
- broker_url：Celery broker的地址，如果设置CeleryExecutor则需要修改为rabbitmq或者redis的地址， redis://192.168.1.100:6379/0
修改好配置后
- 首先在mysql中创建airflow数据库、airflow用户，并为airflow赋予操作airflow的权限，并允许远程登录。
- 启动redis-server
- 再次使用airflow initdb来进行初始化，在此过程中可能会遇到问题，我们后面讲解如何解决问题。
启动
- airflow webserver：启动airflow的webserver
- airflow scheduler：启动airflow的scheduler
- airflow worker：启动airflow的worker，如果不是CeleryExecutor，可以不用启动Worker。
启动后就可以在输入http://host:port看到就可以看到如下界面了
airflow首页
问题
-
初始化时，出现
初始化出现-1
这种这种情况是因为mysql启动时没有指定explicit_defaults_for_timestamp=1，在/etc/my.cnf中进行指定后重启mysql即可。
- 初始化时出现‘ImportError: No module named MySQLdb’
这是因为没有安装mysql-python，使用yum install MySQL-python进行安装。 - 初始化时，出现无效时间，2019-04-19 13:20:45000 +00:00
这是因为mysql的sql_mode参数问题，有些mysql中没有问题（具体原因不知道，还在查），将sql_mode修改为sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
修改后，对于timestamp字段进行存储时，日志中会出现被截断的日志信息，但不影响正常使用。
网友评论