美文网首页
Day 2604:学习

Day 2604:学习

作者: kafkaliu | 来源:发表于2024-03-14 23:40 被阅读0次

LTC(Lead To Cash)主题的的DAG。最终产生的是线索在业务每个阶段的活动记录和维度信息的大宽表。

说明:

  1. 业务活动指出席、签单等,此处的数据都为结果信息而不包括过程信息。比如只有实际出席的信息,而不包括多次邀约记录。比如签单,用户可能分多次支付,此处保留的是最终结果。
  2. 大宽表中的一行数据记录的是以下信息(具体见ddl):什么来源的线索,线索基本信息,当前在业务哪个阶段,是哪个cc负责、哪个老师负责等。
  3. 活动数据之间用previous_ltc_activity_id关联,在某些分析下有用。依据的业务规则目前是:新签单归属于之前最近的重度出席。如果未来规则变化,需要重新运行job,以更新关联字段。

目前方案:

  1. 线上binlog保留时间较短短,一天都不到,一旦任务出错时间稍长,就可能追不上。因此DAG目前采用每日同步前一日内的业务数据,首日会同步之前的所有数据(有最早的时间,太早的不会同步)。
  2. 目前依据crm.demo_course_log和mxc.signinginformation的create time来同步,业务系统需要确保正常情况下两表数据只创建,不更新和删除,如有此类场景,需联系同步修改。

相关文章

网友评论

      本文标题:Day 2604:学习

      本文链接:https://www.haomeiwen.com/subject/nhtgzdtx.html