美文网首页大数据玩转大数据大数据,机器学习,人工智能
数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记(九)

数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记(九)

作者: 数据僧 | 来源:发表于2018-09-18 00:58 被阅读36次

主要讨论的概念如下

1,实际的销售模式
2,零售模式的扩展能力
3,抵制规范化冲动

零售业务中的实际查询是什么样的

场景:某用户,希望看到某年某月期间 某个地区通过促销快餐分类的销售总量。
可以按照图所示,按照日期维度中的月和年、商店维度中的地区,产品维度中的分类加以约束。


零售业销售模式查询

零售模式中如何扩展仓库的能力

场景一:如果发现维度的新文本描述符。
处理方式:
1,把这些属性作为新列增加进去。所有现存的应用将可以不受这些属性的影响继续工作。
2,如果这些属性只在特定时间点可用,则老的维度行中将插入不可用或类似的描述。如果用户希望通过新确定的属性跟踪历史数据变化,则场景更加复杂,可以通过缓慢变化维度处理。

场景二:如果发现新的维度。
处理方式:在事实表上增加外键列。将新维度的主键填写到该外键列上。

场景二:发现的新的可度量事实。
处理方式:
1,当新事实在同一个度量事件中可用,并与已经存在的事实粒度相同时候,这是增加新列,值填充至表中。
2,如果新事实仅仅在某个时间点可用,则将空值填充到旧的事实表行中。
3,当新的可度量事实以不同粒度出现时,此时建立属于新事实的事实表。因为在同一个事实表中出现不同粒度是错误的。

无事实的事实表

场景:例如处于促销状态,但是尚未售出的产品包括那些?
销售事实表记录的都是实际卖出的SKU。如果把那些包含0值的SKU都加入到事实表,则事实表将变得无比巨大。
处理方式:
无论产品是否卖出,我们每天(或者每周,等周期)每个商店中促销的产品加载一行。事实表确保能够看到被促销定义的键之间的关系,与其他事件例如产品销售无关。
如何确认促销产品中那些尚未卖出?
第一步:根据促销无事实的事实表确定促销期间的产品总数。
第二步:根据零售销售事实表已经卖出去的产品总数。
第三步:去上述两步结果的差集


促销所包含的无事实的事实表

抵制规范化的冲动

1,雪花模式是维度建模的合法分支,然而不主张采用雪花模式。雪花模式构成了一个复杂的结果。大量的表和连接操作造成性能问题。雪花模式有关节省磁盘空间的优势不是非常明显。对用户浏览维度的能力有负面影响。

产品维度的雪花模式

2,支架表,为某个事实表范围之内的维度建立附加的支架维度。尽管可以使用支架表,但是支架表不易被商业用户理解,限制了用户在单一维度中浏览属性的能力,尽量不要使用支架表。

允许使用的支架表实例

3,避免使用包含大量维度的蜈蚣事实表。即使蜈蚣表有紧凑的格式,事实表也是维度模型中的巨兽。包含太多的维度的事实表设计,将导致事实表需要更多的磁盘空间。这个和维度相比不是一个数量级的。在蜈蚣事实表中无法实现对大部分的的键构建有效索引。
建议多数业务可以用不超过20个维度的事实表表示,如果有更多的维度可以考虑合并关联维度。


包含大量规范化维度的事实表

数据僧 历史文章

数据仓库-概述-读书笔记一
数据仓库-DW/BI架构对比-读书笔记二
数据仓库-事实表/维度表技术-读书笔记三
维度处理-数据仓库-读书笔记(四)
数据仓库-高级事实表技术-读书笔记五
数据仓库-高级维度表技术-读书笔记六
数据仓库,零售业务举例,维度模型设计4步骤,读书笔记(七)
数据仓库-零售业务举例维度表设计细节-读书笔记(八)


数据僧 参考资料

数据仓库工具箱


如果您觉得我用心了,觉得您有所收获,麻烦关注下我吧,您的关注就是我的动力,因为有你,我就不是一个人在前行。

数据僧

相关文章

  • 数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记(九)

    主要讨论的概念如下 1,实际的销售模式2,零售模式的扩展能力3,抵制规范化冲动 零售业务中的实际查询是什么样的 场...

  • 数据仓库

    数据仓库与业务系统数据库 数据仓库 面向主题 (业务类型:如机器,用户,歌曲,营收) 集成 ...

  • 数仓面试

    什么叫数据仓库?如何构建数据仓库? 数据仓库是一个面向主题的(Subject Oriented)、集成的(Inte...

  • 第10章 业务能力扩展

    业务能力扩展中的战略问题是如何增加业务能力以推动企业目标,抱着提高其竞争地位或市场份额的希望,同时避免使产业能力过...

  • 数据仓库数据集成算法

    1.数据仓库数据集成 数据仓库将源系统数据抽取到ODS或者ODS提供数据给数据仓库后,需要将不同来源的数据根据业务...

  • 数据仓库系列之数据质量管理

    数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更...

  • 数据仓库的数据质量管理

    数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更...

  • 数仓初识-理论知识

    数据仓库 数据仓库诞生的背景: 历史数据积存(避免业务冷数据堆积在业务库中,导致性能下降) 历史数据分析需要 概念...

  • 数据仓库-零售业务举例维度表设计细节-读书笔记(八)

    主要讨论的概念如下 1, 维度属性,包括指标、数字话描述以及多层次2, 日历日期维度,加上当天时间维度3, 因果维...

  • 数据仓库设计

    数据仓库--事实表 数据仓库--事实表和维度表 DW数据仓库分层模型设计 如何优雅地设计数据分层 ODS DW D...

网友评论

    本文标题:数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记(九)

    本文链接:https://www.haomeiwen.com/subject/daakgftx.html