数据中台组成与产品

作者: reco171 | 来源:发表于2022-02-28 17:57 被阅读0次

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。
数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。数据中台组成图如下：

image.png

1．元数据管理
可以根据不同的业务域，组织管理数据模型；支持数据模型的增删改查；支持模型的复制，修改和再定义，满足业务快速变化的需求。
2．数据集成
（1）数据源管理
1）异构数据源整合：兼容多种数据源，可接入企业内部各类业务系统 API、各种经典关系行数据库（Oracle， SQL Server， MySQL， DB2 等），各种 NoSQL 数据库（MongoDB 等），各种数据文件（CSV， EXCEL），还有其他公共数据服务等来源，兼容各种数据源类型，轻松集成整合所有相关业务数据；
2）数据源管理包括数据源增加、修改、删除以及连接测试等。
（2）数据同步
将业务端数据定时同步至中台数据仓库中，后续根据业务要求，可进行整合治理。具体功能如下：
1）数据源保存后，通过配置源数据源和目标数据源，实现数据同步任务创建。进一步设置任务同步机制，开启任务同步。
2）提供任务详情查看、修改、删除操作。
3．数据治理
数据治理主要包括数据清洗转换、关联整合、质量管理等。通过数据关联整合和数据组织管理，形成数据资产。
数据中台提供数据处理算子，通过算子堆叠和任务调度，完成数据从一个数据集到另一个数据集的转换过程。
通过数据的先期导入存储，后续根据业务要求，灵活加工，将传统 ETL 过程转化成了 ELT 过程，保证了数据业务的灵活性，快速的满足业务需求。数据 Transform 的过程中，提供了很多数据转换子操作，可以灵活的根据业务需要进行组合，从而形成一个完整的数据处理流程。
4．任务管理
基于中台任务管理，实现数据ETL处理和数据仓库建设。任务管理提供可视化的配置界面，能够通过托拉拽方式，完成数据治理任务配置。
作为数据处理的核心体系之一，批量式数据处理是企业中最常见的业务场景。针对这种数据处理方式，提供了统一的任务调度管理功能，在该模块中，可以看到数据中台内部所有批量数据处理的任务，包括这些任务的状态，执行历史等信息。用户也可以对这些任务进行操作，包括修改，执行，暂停或者取消等。
5．数据服务管理
数据中台中，通过 API 方式对外提供数据服务，提供配置化的 API 能力，可以通过简单的配置将数据集转换为数据API服务，供前端应用使用，同时 API 还能具备权限控制和数据缓存能力，提升系统响应能力；
利用数据服务发布功能，操作人员可以通过界面配置，直接使用 Restful API 的方式暴露数据，提供数据服务。无须进行任何代码的编写，数据服务 API 采用标准的 Restful 形式，数据使用标准的 JSON / XML ，方便业务系统进行对接。同时可以增加数据权限校验，也可以通过缓存，增加 API 的数据服务性能，更好的提供数据服务。
可以将中台数据（结构化和非结构化）发布为 RESTFULL API，并提供添加、删除、检查、更改和使用数据API服务等功能。

系统管理
数据中台可通过用户权限管理、日志管理、数据资产管理、数据标签管理、人工智能算法管理等功能，提升数据中台能力。
产品
（1）搭建数据中台需要围绕“规划、治理、整合、共享”四步，将企业海量、多维的数据资产盘点、整合、分析、确保整个公司数据一致性和可复用性，为前台提供数据资产、数据定制创新、数据监测与数据分析等服务，最终实现数据资产的价值最大化。DataHunter数据中台 Data Formula产品数据架构图
image.png
（2）开源LarkMidTable
LarkMidTable 是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。开源产品尚在开发中，架构图如下：
image.png