美文网首页数据仓库
维度建模:缓慢变化维SCD

维度建模:缓慢变化维SCD

作者: 惊不意外 | 来源:发表于2021-07-22 12:47 被阅读0次

    缓慢变化维(Slowly Changing Dimension)就是变化相对缓慢(相对与快速变化的事实表来说)的维度。

    在维度建模理论中,有8种处理方式,包括基础的5种以及混合的3种。 再加上大数据时代的2种极限型,共10种

    1、基础型

    1.1、类型0: 保留原始值

    维度属性值不做更改,保留原始值。
    此方式什么也不做,所以称之为方式0。

    eg.比如商品上架售卖时间:一个商品上架售卖后可能由于缺货下架,补充库存后又再次上架,此种情况产生了多个商品上架售卖时间。如果重点关注的是商品首次上架售卖时间,则采用方式0。

    1.2、类型1: 直接覆盖

    修改维度属性为最新值,直接覆盖,不保留历史信息

    eg.比如商品属于哪个品类:当商品品类发生变化时,直接重写为新品类,如果业务只关心最新的品类。

    1.3、类型2: 增加新行(需要增加代理键)

    在维度表中增加新的一行,新行中采用新的属性值。此种方式需要借助代理键,需要为新行分配新的代理键,将其作为事实表的外键

    采用此方式,一般会在维度行中额外增加3列:行生效时间,行失效时间以及当前行标识(或者不使用当前行标识,由行失效时间来判断是否是当前行)

    此方式及其变种是处理缓慢变化维的主要技术。

    1.4、类型3: 增加新属性列

    在维度表中增加新的一列,原先属性列存放上一版本的属性值,当前属性列存放当前版本的属性值。

    1.5、类型4: 增加微型维度

    当某维表是一个大型维度表,采用类型2(增加新行)时,如果某些维度属性变化相对较快,会导致该维表变得越来越大,导致存储压力和性能压力

    将某些维度属性从该大型维表中抽离出来,单独构建RFM微型维度。并在相关事实表中增加RFM键作为外键。


    类型4:微型维度

    2、混合型

    2.1、类型5: 微型维度与类型1支架维度

    a.该方式是类型1和类型4的结合,即建立微型维度后,微型维度的主键不仅作为事实表的外键,也作为主维度的外键。
    b.在主维度中,此微型维度属性以类型1处理,即当该属性发生变化时,直接覆盖,不保留历史信息。
    c.这种情况下的微型维度被称之为支架。

    类型5: 支架维度

    2.2、类型6: 将类型1属性增加到类型2维度

    此种方式复杂,在少数特定迫切的场景下才会使用。如商品的品类变化

    该方式是类型1(直接覆盖)、2(增加新行)、3(增加新列)的结合,即同时增加维度行和维度列,并以类型1(直接覆盖)处理新加的维度列(当前属性)。


    类型6: 将类型1属性增加到类型2维度

    2.3、类型7:双重外键并且类型1与类型2结合

    在类型2(增加新行)的基础上,不仅是维度的代理键作为事实表外键,维度的自然键(如果自然键会被重新分配,发生变化,应该使用持续性超自然键)也同时作为事实表外键

    事实表通过代理键连接维表获取历史维度属性,通过自然键连接维表获取当前维度属性。


    类型7:双重外键并且类型1与类型2结合

    3、极限型

    3.1、类型8: 快照维度

    此种方式比较暴力,每天保留全量维度属性的快照数据,自然键及日期键作为事实表的外键。

    此方式依托的是当前存储成本远低于计算成本,以空间换时间的理念。
    如商品快照维度表


    类型8: 快照维度

    3.2、类型9:历史拉链维度

    此方式是类型2(增加新行)的阉割版,同样是增加维度行。
    舍弃了代理键,因为如MapReduce之类的分布式计算引擎,维护全局唯一的代理键难度大,成本高。

    类型9:历史拉链维度

    优点是此方式相比方式8,大大降低了存储(当然前提是不包含变化频率很高的维度属性,如果有,请考虑进行垂直拆分)。
    缺点是和事实表连接时会有一些不足。如事实表只能以时间切片的方式和维度表进行连接,如果事实表要多个时间切片同时与维度表关联,需要一定的技术改造。

    ————————————————
    版权声明:本文为CSDN博主「qq_36039236」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_36039236/article/details/107819326

    相关文章

      网友评论

        本文标题:维度建模:缓慢变化维SCD

        本文链接:https://www.haomeiwen.com/subject/ibjemltx.html