近期公司开启新的项目,需要规整公司各个部门的所有的数据,统一数据报表。因此需要统一不同来源的数据格式,建立元数据仓库,一期满足基础的报表需求,二期加入数据分析和数据挖掘需求,三期完成元数据存储-->聚合分析、多维数据模型、业务模型-->报表展示/数据分析/数据挖掘,性能优化。
之前对数据仓库接触不多了解多少,借此机会,了解HBase、spark、Hadoop 等原理,通过记录每日所看所得养成写日记的习惯。
20180227记录
近期公司开启新的项目,需要规整公司各个部门的所有的数据,统一数据报表。因此需要统一不同来源的数据格式,建立元数据仓库,一期满足基础的报表需求,二期加入数据分析和数据挖掘需求,三期完成元数据存储-->聚合分析、多维数据模型、业务模型-->报表展示/数据分析/数据挖掘,性能优化。
之前对数据仓库接触不多了解多少,借此机会,了解HBase、spark、Hadoop 等原理,通过记录每日所看所得养成写日记的习惯。
20180227记录
本文标题:元数据管理项目(1)
本文链接:https://www.haomeiwen.com/subject/pfypxftx.html
网友评论