数据中台

平台架构：

数据应用

• PMS/CMS/LMS/IMS
• 智能数据分析
• BIM展示/GIS展示/数字孪生技术应用

数据服务

• 数据检索
• 数据可视化（R语言）
• 数据模型管理
• 数据开放接口
• 数据编排
• 治理报告

数据管理

• 数据管理：数据权限管理、任务调度管理、数据监控管理、数据运维管理
• 数据访问：JDBC、SQL、API
• 数据分析：通用计算模型管理、深度学习模型管理、指标计算、算字库、知识库
• 数据治理：元数据管理、数据血缘管理、数据质量管理、数据稽查、数据安全
• 计算模型：MapReduce、图计算、流式计算、内存计算

数据采集

• 爬虫、数据填报、ETL
• 工具：FDI、MQS、API组件、LINK
• 数据队列：Kafka
• 结构化 数据、半结构化数据、非结构化数据、时序数据

数据存储

• RDB传统数据库
• Hadoop分布式
• MPP并行数据库
• TSDB时序数据库
• DocumentDB（跨区域数据库）
• 数据湖泊：MRS+DWS

主流的大数据处理系统架构

• NO.1
  流式处理：Storm、S4、SEEP Dstream、Naiad、Spark、flink
  数据查询：Pig、Hive、SharkMeteor、SCOPE、DryadLINQ
  机器学习：Mahout、MLBase、SystemML、Presto
  图像处理：Pregel、GraphLab Bagel、GraphX Giraph
• NO.2 执行引擎
  MapReduce、Dryad、Spark、Nephele/PACT、Hayracks Percolator
• NO.3 资源管理
  Apache Mesos、Hadoop YARN
• NO.4 存储系统
  分布式存储：HDFS、GFS
  BigTable、Hbase、Dynamo Cassandra、MongoDB、Redis、Mysql、Voldemort