计划明年开始数据中台项目的第一期数据仓库，最近在整理一些文档。
对于目前主要的数据中台实现思路我已经有所沉淀，目前主要是针对企业内部的一些具体的需求如何或者是否能通过数据中台进行满足。
1、是对接历史数据的需求。历史系统不支持HTTP的方式读取数据，也不支持SQL的方式，只是支持CVS文件的方式。这块为了将数据定期导入到数据中台，就需要一个CVS->DB的适配器（自定义开发）和定时调度。
2、对接不同的数据库，企业当初也有很多基于数据库的应用，oracle、mysql、sqlserver都有，这就需要一个可视化工具快速对接，并且能够调度，也就是ETL
3、数据接入后的质量检查，对于csv之类的数据接入，由于生成的数据文件自身就无法对数据质量进行保障，所以需要对同一数据接入多次，通过多次进行数据校验，以解决数据缺失问题。
4、ODS的数据提取问题，原始数据肯定是不能直接用的，需要提取、转换、关联登操作，ETL最好能够用起来
5、数据支持在线查询，包括权限控制。SQL查询就行，反正数据量也不是特别大，最好支持元数据在线查询。
6、数据支持导出方式，包括文件（CSV），其他暂时不需要，仍然需要权限控制。
7、数据的直接查询，不是用于应用端，而是对数据仓库自身的数据检查。
8、暂时不要数据血缘。
9、独立的主数据管理。由于企业的主数据建设比较延后，所以主数据是放在后期与业务数据再绑定用的。
网友评论