大数据挑战

Challenge

多种执行、存储引擎，分钟、小时、天级的任务调度，怎样梳理数据的时间线变化？

任务、表、列、指标等数据，如何进行检索、复用、清理、热度Top计算？

怎样对表、列、指标等进行权限控制，任务治理以及上下游依赖影响分析？

元数据定义、价值

元数据打通数据源、数据仓库、数据应用，记录了数据从产生到消费的完整链路。元数据包含静态的表、列、分区信息(也就是MetaStore)；动态的任务、表依赖映射关系；数据仓库的模型定义、数据生命周期；以及ETL任务调度信息、输入输出等

元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱；构建任务DAG依赖关系，编排任务执行序列；构建任务画像，进行任务质量治理；数据分析时，使用数据图谱进行字典检索；根据表名查看表详情，以及每张表的来源、去向，每个字段的加工逻辑；提供个人或BU的资产管理、计算资源消耗概览等

开源解决方案

WhereHows

WhereHows是LinkedIn开源的元数据治理方案。Azkaban调度器抓取job执行日志，也就是Hadoop的JobHistory，Log Parser后保存DB，并提供REST查询。WhereHows太重，需要部署Azkaban等调度器，以及只支持表血缘，功能局限

Atlas

Atlas是Apache开源的元数据治理方案。Hook执行中采集数据(比如HiveHook)，发送Kafka，消费Kafka数据，生成Relation关系保存图数据库Titan，并提供REST接口查询功能，支持表血缘，列级支持不完善

饿了么元数据系统架构

架构

DB保存任务的sql数据、任务基础信息、执行引擎上下文信息
Extract循环抽取sql并解析成表、列级血缘Lineage
DataSet包含Lineage关系数据+任务信息+引擎上下文
将DataSet数据集保存到Neo4j，并提供关系查询；保存ES，提供表、字段等信息检索

SQL埋点、采集

SQL埋点

饿了么的sql数据，以执行中采集为主+保存前submit为辅。因为任务的sql可能包含一些时间变量，比如dt、hour，以及任务可能是天调度、小时调度。执行中采集sql实时性更高，也更容易处理

EDW是饿了么的调度系统，类比开源的AirFlow。调度系统执行任务，并将任务相关的信息，比如appId、jobId、owner、sql等信息存入DB

计算引擎实现相关的监听接口，比如Hive实现ExecuteWithHookContext接口；Spark实现SparkListener接口；Presto实现EventListener接口。将计算引擎相关的上下文Context、元数据MetaData、统计Statistics等信息存入DB

SQL解析

SQL Parse

解析sql的方案，以hive为例。先定义词法规则和语法规则文件，然后使用Antlr实现sql的词法和语法解析，生成AST语法树，遍历AST语法树完成后续操作

但对于SELECT *、CTAS等操作，直接遍历AST，不去获取Schema信息来检查表名、列名，就无法判定sql的正确性，导致数据污染

综上所述，饿了么的SQL解析方案，直接参考Hive的底层源码实现。上面的图片是个简单示例，先经过SemanticAnalyzerFactory类进行语法分析，再根据Schema生成执行计划QueryPlan。关于表、列的血缘，可以从LineageInfo、LineageLogger类中获得解决方案

当然，你需要针对部分类型sql设置HiveConf，比如“开启动态分区非严格模式”。对于CTAS类型，需要设置Context。UDF函数需要修改部分hive源码，避免UDF Registry检查

Operation

饿了么解析血缘的sql支持的操作有：Query(包含select\insert into\insert overwrite)、CreateTable、CreateTableAsSelect、DropTable、CreateView、AlterView。基本覆盖饿了么生产环境99%+的sql语法

栗子

create table temp.lineage_test as select coalesce(name, count(id)) lineage_name from default.dual group by id, name

举个栗子，根据上面的sql，分别产生表、列血缘结构。input是表、列输入值，output是表、列输出值，operation代表操作类型。比如表A+B通过insert，生成表C，则延展成A insert C; B insert C

列式也一样
input: name, operation: coalesce(name, count(id)), output: lineage_name;
input: id, operation: coalesce(name, count(id)), output: lineage_name

表血缘结构

Table Lineage

列血缘结构

Column Lineage

图存储

Gremlin

有了input、operation、output关系，将input、output保存为图节点，operation保存为图边。图数据库选用Gremlin+Neo4j。Gremlin是图语言，存储实现方案比较多，Cypher查询不太直观，且只能Neo4j使用。社区版Neo4j只能单机跑，我们正在测试OrientDB