美文网首页
数据中台架构

数据中台架构

作者: 企业信息化架构 | 来源:发表于2020-04-28 17:04 被阅读0次

    1. 背景

    数据中台架构。

    2. 数据结构

    业务架构

    基础数据:基础数据是通用的人员、商品、客户、司机等基础资料类型的数据。
    业务数据:业务数据是各自业务系统的作业流程数据,财务系统的应收应付,仓储系统的拣货卸货数据,托盘系统的托盘出入库数据等。
    分析数据:分析数据是对基础数据和业务数据进行加工处理后的数据,例如应收帐,应付帐,代垫账,库存鲜度等等。

    3. 技术架构

    技术架构

    3.1数据来源

    数据来源包含结构化数据和非结构化数据。
    结构化数据来源于业务系统:EAS、WMS、TMS、OA等等。
    非结构化数据来源存储系统:文件存储系统、萤石云、MongoDB等。

    3.2数据采集

    数据采集:从各系统数据库、影像系统、文件系统等进行数据采集传输--采用技术kettle。

    3.3数据存储

    数据存储包含数据仓库、文件系统、非关系型数据库、数据集市。
    数据仓库:业务数据的建模与存储--技术采用Oracle。
    文件系统:存储日常的非结构化数据--技术采用阿里云OSS。
    非关系型数据库:对日志或者操作记录等数据属性不断变动的非关系型数据库--技术MongoDB。
    数据集市:是根据主题对数据进行分析处理后的结果集存储--技术采用?

    3.4数据计算

    数据计算是对数据仓库的数据进行截取分类汇总等计算。
    批量离线计算:数据量较多,时效要求较低的数据计算--采用技术spark。
    内存计算:数据量小,时效要求高的数据计算--采用技术自主服务平台。
    流式计算:数据量较多,时效要求较高的数据计算--采用技术spark。
    AI训练模型:数据的人工智能分析--采用技术待定。

    3.5数据服务

    数据大屏:数据对外的大屏展示--采用阿里的dataV。
    数据推送:数据报表的用户邮件、短信、推送--采用FineReport10.0。
    数据分析:数据的明细分析,数据定位等--采用FineBI5.1。
    数据开放:数据提供外部的DATA-API接口--采用自主服务平台。

    3.6数据治理

    数据治理是数据日常管理的规范与数据安全的控制。
    数据标准:数据采用统一标准,然后从不同系统按标准进行采集。
    数据质量:采集的数据需要进行复核,确保数据质量。
    数据架构:数据进行分类,基础数据、业务数据、分析数据。
    数据安全:系统层面安全采用防火墙隔离,且核心数据采用内网访问,用户层面数据隔离采用权限控制。

    相关文章

      网友评论

          本文标题:数据中台架构

          本文链接:https://www.haomeiwen.com/subject/itcbwhtx.html