建造数据仓库包括——与操作型系统接口的设计 + 数据仓库本身的设计。
1、操作型数据。
难点1 集成——由于不同应用的数据集成性很差，因此在从现有操作型系统到数据仓库中的数据必须先集成。即统一名称、字段、单位等。
难点2 装载——难点在于当操作型环境发生变化时，不断地将变化数据装载到仓库中。即要有效捕捉到不断发生的日常变化并对之进行处理：扫描系统现有文件。常用技术有3种：扫描在操作环境中那些被打上时间戳的数据；扫描增量文件；扫描作为事务处理的副产品的日志文件或者审计文件。
难点3 时基变化——附加时间元素。
2、 数据仓库与数据模型
数据建模分为三个层次：高层建模（实体关系图，ERD），中间层建模（数据项集，DIS），底层建模（物理模型）。
ERD：表明了实体或者主要主题以及他们之间的关系。该层的实体属于最高抽象层。由建模者、管理人员和最终用户确定的集成范围（决定哪些实体属于模型范围而哪些不属于）定义了数据模型的边界。
DIS：对ERD中的每个实体都要建立。由四个部分组成：主要数据分组（包含每个主要主题域的属性和关键字，每个主要主题域有且只有一个）；二级数据分组（包含每个主要主题域可以存在多次的数据属性）；连接器（表示两个主要主题域间的数据关系）；数据的“类型”（左边是超类型，右边是数据的子类型）。
一般来讲，数据模型的每个数据分组都将产生一个在数据库设计过程中定义的表。
物理数据模型——拓展中间层模型，是模型中包含有关键字和物理特性。物理设计中要进行性能特征的优化（如下图），核心是物理I/O的使用情况，最大限度地减少不得不进行的物理I/O，以保证一次物理I/O能返回最大数量的记录。
数据仓库中的数据一般不更新，这样设计者就可以采用一些在数据经常需要更新的情况下不能接受的物理设计技术。
任何情况下，数据仓库都应当以迭代的方式进行建造：先建造一部分，再建造另一部分。
节省I/O的举措：①创建数组——当数列中值的数量稳定、数据时按顺序访问的、数据的创建与修改是在统计上以非常有规律的方式进行时，可以创建数据数组来节省I/O。②有意引入冗余数据——经常使用但几乎不更新的数据放在多个位置。③引入导出数据（已计算出的数据）。④建立创造性索引或创造性概要文件。⑤参照完整性（表现为数据表之间的动态链接）的管理 。
快照：记录着一些事件的发生。触发快照的事件一类是对离散活动信息的记录，如业务活动。另一类是时间。包含时间（通常是快照发生的时间）、关键字、非关键字的主要数据、二级数据（快照记录创建时捕获的外来信息）。
元数据——关于数据的数据（描述数据的数据）。元数据与数据仓库内容的索引类似，处于数据仓库的上层，并记录数据仓库中对象分位置。需要注意的是参照表的管理。
数据周期——指从操作型环境中的数据发生改变起，到这个变化反映到数据仓库中所用的时间。一般情况是24小时，原因如下①周期越短技术越昂贵，24小时性价比最高。②数据在到达数据仓库前能达到稳定。
数据转换和集成远比想象中复杂很多倍。
数据仓库记录的触发——“事件-快照”交互：引起数据仓库的数据载入的基本的业务交互活动。事件触发数据快照，数据快照转移到仓库环境中。
概要记录——把操作型数据中许多不同的、详细的记录合在一起形成一条记录。好处是为最终用户的访问和分析提供了一个紧凑的、方便的数据组织形式。
管理大量数据——建立概要记录。缺点是会丢失一部分细节。为了避免丢失重要细节，第一种方法是迭代地建立概要记录，增加修改记录的灵活性。第二种方法是在建立概要记录的同时建立历史细节的备用层（全部细节储存在便宜的存储器上）。
数据“回流”——从数据仓库环境到操作型环境（非常规情况）。
数据仓库数据的访问——直接访问：有非常严格的限制，只有非常少量的数据回流，很少发生。常用的是间接访问。如：航空公司的佣金计算系统；零售个性化环境；金融领域中的信用审核
数据仓库数据的间接使用模式：一个程序对数据库进行定期的分析，以检验相关的特征和标准。这种分析过程会在在线环境中产生一个小文件，内容包括了有关企业业务方面的简明信息。这个小文件能被快速有效地使用，这样能大大提高访问速率。
数据集市的星形连接（多维方法，不适合数据仓库）：用来管理载入数据集市中某个实体的大量数据的设计结构。星形连接内分为事实表、维表。事实表还包括指向维表的预先连接的外键（如图）。其好处是可以为决策支持系统的处理优化数据。
难点：是数据必须周期性地从数据仓库移到数据集市，与从原有操作环境到数据仓库的转移相似：必须对数据仓库中的数据进行选择，访问，重组才能适合数据技术的需求。问题是访问的数据量与刷新过程的频率选择。
数据仓库支持操作型数据存储。
数据仓库是根据企业需求而设计的，聚集和组织企业需求的最好的办法之一是叫Zachman框架的方法。
关键词：数据建模，节省I/O，快照，元数据，数据周期，管理大量数据，间接使用，星形连接，Zachman框架。
网友评论