经过一段时间的代码阅读，我对历史项目的流程和数据库结构已经有了初步的认知了，确实有了一些可以落地的数据仓库的做法。
首先还是要把原始表全部倒入进来，然后在数据仓库上做数据粗加工。
首先是导出原始表，这里有2个问题，一个是导出多少字段，不少表的字段我也不清楚，但是为了以后的分析，还是导出所有字段，第二个问题是增量还是全量，首先增量，但是要确保每个记录嗯更新时间是有的，这个还需要进一步完善。
然后是历史数据的处理，要多多少？我这里只做到把标志位从字符解析出来单独保存就行。
由于历史数据的处理上，很多标志位没有采用数据库字段的方式，这就导致了无法做到标准的查询一下，所以需要在建立新的标志位，将文本中标志位的内容存放在一段中，例如在合同的开头字母是表示合同类型的，就需要在etl过程中把合同类型单独存放，还好之前做了一些数据清洗，这部分问题不大。
数据库和数据仓库各自的应用场景 两种数据处理模式 操作型数据处理（OLTP），是指对数据库联机的日常操作，主要完成...
ETL是数据仓库里最重要的数据处理过程，也是最体现工作量的环节，一般会占到整个数据仓库项目工作量的一半以上。 ● ...
数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流...
Hive是一个构建在Hadoop上的数据仓库框架，是一个通用的、可伸缩的数据处理平台，它设计的目的是让精通SQL技...
在大数据系统平台当中，数据存储、数据库、数据仓库是非常重要的概念，共同支持大数据存储的实际需求。在大数据处理当中，...
从目前的企业和政府现阶段的数据仓库项目建设情况来看，有的采用的是传统的数据库脚本方式的，也有采用数据处理工具的。其...
为了实现数据仓库中的更加高效的数据处理，今天和小黎子一起来探讨ETL系统中的增量抽取方式。增量抽取是数据仓...
01 数据中台演进的过程 从数据处理的维度来聊一聊数据中台经历的四个阶段：数据库阶段、数据仓库阶段、数据平台阶段、...
2.1 数据仓库增强 2.1.1 数据仓库及数据模型入门 什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓...
目录一. 什么是数据仓库二. 数据仓库能干什么？三. 数据仓库的特点四. 数据仓库发展历程五. 数据库与数据仓库的...
本文标题：数据仓库的数据处理
本文链接：https://www.haomeiwen.com/subject/olnkpdtx.html
网友评论