1. 背景
数据中台架构。
2. 数据结构
![](https://img.haomeiwen.com/i9732795/bab84dd47c5cd920.png)
基础数据:基础数据是通用的人员、商品、客户、司机等基础资料类型的数据。
业务数据:业务数据是各自业务系统的作业流程数据,财务系统的应收应付,仓储系统的拣货卸货数据,托盘系统的托盘出入库数据等。
分析数据:分析数据是对基础数据和业务数据进行加工处理后的数据,例如应收帐,应付帐,代垫账,库存鲜度等等。
3. 技术架构
![](https://img.haomeiwen.com/i9732795/05becb3982fa4eff.png)
3.1数据来源
数据来源包含结构化数据和非结构化数据。
结构化数据来源于业务系统:EAS、WMS、TMS、OA等等。
非结构化数据来源存储系统:文件存储系统、萤石云、MongoDB等。
3.2数据采集
数据采集:从各系统数据库、影像系统、文件系统等进行数据采集传输--采用技术kettle。
3.3数据存储
数据存储包含数据仓库、文件系统、非关系型数据库、数据集市。
数据仓库:业务数据的建模与存储--技术采用Oracle。
文件系统:存储日常的非结构化数据--技术采用阿里云OSS。
非关系型数据库:对日志或者操作记录等数据属性不断变动的非关系型数据库--技术MongoDB。
数据集市:是根据主题对数据进行分析处理后的结果集存储--技术采用?
3.4数据计算
数据计算是对数据仓库的数据进行截取分类汇总等计算。
批量离线计算:数据量较多,时效要求较低的数据计算--采用技术spark。
内存计算:数据量小,时效要求高的数据计算--采用技术自主服务平台。
流式计算:数据量较多,时效要求较高的数据计算--采用技术spark。
AI训练模型:数据的人工智能分析--采用技术待定。
3.5数据服务
数据大屏:数据对外的大屏展示--采用阿里的dataV。
数据推送:数据报表的用户邮件、短信、推送--采用FineReport10.0。
数据分析:数据的明细分析,数据定位等--采用FineBI5.1。
数据开放:数据提供外部的DATA-API接口--采用自主服务平台。
3.6数据治理
数据治理是数据日常管理的规范与数据安全的控制。
数据标准:数据采用统一标准,然后从不同系统按标准进行采集。
数据质量:采集的数据需要进行复核,确保数据质量。
数据架构:数据进行分类,基础数据、业务数据、分析数据。
数据安全:系统层面安全采用防火墙隔离,且核心数据采用内网访问,用户层面数据隔离采用权限控制。
网友评论