简道云数据工厂系列——日期处理篇

作者: 龙小马的数字化之路 | 来源:发表于2019-05-27 09:18 被阅读0次

上篇给大家简单介绍了下数据工厂操作的6个基本节点。它们的存在就像是汉字的基本笔画一样，通过不同的搭配，达到一生二、二生三、三生万物，变化衍生出无穷尽的具体功能实现（夸张下）。

上篇详见：

数据分析全自动，简道云数据工厂系列——基础篇

今天就给大家分享一下几乎所有的数据处理分析都会遇到的日期处理问题。虽然笔者之前写过一篇日期处理的文章（详见：

震惊！简道云竟然也可以做同比、环比分析le？

），但今天给大家分享一个更加普适性、更简单、功能更多的日期处理方案，建议大家先看下之前那篇同比环比分析的文章，这里重复的东西就不再赘述了。

同比篇

的短板：

同期日期的处理需要在表单里增加辅助字段，而对于有大量历史数据的表单来说，挨个修改自然是不能让人忍受的，导出导入方法会破坏表单的录入修改日志数据。而且如果再加上环比和财务日期，那么光在表单的日期辅助字段上花费的时间精力就太多了。
没有动态日期处理的解决方案。

日期处理的几个类型

我们想要做到的时间维度分析包含：时间序列变化、同期环期变化、财务日期、节假日。

但表单原生态的日期能够做到的日期分析维度有限（解读详见

同比篇

），而且还有一个许多用户急需的动态日期（随今天日期的变化而变化）处理，表单也无法很好支持。

动态日期可以实现人员年龄、工龄、剩余天数、累计月份等的场景功能需求。今天也将给大家介绍一个动态日期处理方案，当然目前仅支持到天。（时分秒的处理相对繁琐，如果要做这个思路也可以）

时间戳小知识：时间戳是当前时间的精确到毫秒的时间差值。它的起始值是1970年1月1日8点0分0秒（涉及1970年前日期的也就年龄计算了）。在这之前的时间戳值只是显示为负值了，没啥区别。

动态日期处理的原理

困难所在：动态日期的处理有一个不断变化的日期值，但是由于目前的仪表盘无法调用日期函数，实现today()的动态变化处理，所以要想让日期与今天日期的差值自动变化，便有了难度。

机会所在：要想实现动态的日期处理，可以借助数据工厂对于数字的动态计算能力来实现。而由于日期的本质就是数字（时间戳），所以可以通过数据工厂去处理日期的时间戳，来计算这个动态时间差！

日期表搭建

要想实现日期的各种维度分析，首先我们需要构建一个强大的日期表。包含有日期、同期、动态时间、年季月日周、休or班、节假日。

字段详解：

连接符：用于进行今天筛选后关联到主表用。

日期时间戳：日期的时间戳值，用来获取今天的时间戳和日期的时间戳。

数字年月日：进行年月日差值计算用的。（日的计算用时间戳差值/(1000*3600*24)会更好些）。

年季月日周、休or班、假节日：作为日期筛选维度。

同比日期：用于同期日期的转化（环期日期、财务日期同理）。

数据模型设计

整个模型大致分为6部分。

获取日期的对应时间戳、数字年月日

项目回款表：

日期表：（ps：因为日期表包含内容丰富，我们需要进行3次复用。）

横向连接：
获取今天的时间戳及数字年月日

日期表：

今天筛选：这是动态日期处理的关键一步
同期日期的处理

项目回款表：

日期表：获取同期日期的日期对照表

横向连接：将回款日期与同期日期表进行关联，连接同期日期
连接日期的时间戳和今天的时间戳，并计算年月日差值

横向连接：通过连接符，将今天的时间戳连接到事实表的所有日期上。（连接符的处理很简单，就是相同的字符就可以，你喜欢啥就用啥，我用的是文本“1”）
将事实表数据与同期数据进行混合
将所有事实表数据与日期表进行连接，获得日期表的所有日期分析维度

日期表：包含日期分析的年、季、月、日、周、星期、休or班、节假日维度

横向连接：将日期表的维度连接到事实表上

下面看看仪表盘展示的效果！