美文网首页
Day 2591：学习

Day 2591：学习

作者: kafkaliu | 来源:发表于2024-02-29 18:34 被阅读0次

LTC（Lead To Cash）的DAG。出席到签单的事实数据处理。

该DAG每天每天运行一次。先处理存量数据，然后处理增量数据。
对于存量数据：
如果业务逻辑没有变化，实际上只需要运行一次，运行前检查该dag当前所处理的master的binlog位置，如果不存在则要运行该task，成功后记录binlog位置信息。
如果存量数据都来自镜像数据库，该binlog位置信息并不在镜像数据库中，而在用于恢复成镜像数据库的线上全量备份中。

对于增量数据：
每次都需要运行，在存量处理成功后运行。运行时，从上次的成功标识位置开始，到当前运行时间，约等于airflow的next_execution_date为止，成功后记录位置信息。

如果需要重新生成事实数据，则可以清除位置标识，重新生成事实数据，

相关文章

网友评论

      本文标题：Day 2591：学习

      本文链接：https://www.haomeiwen.com/subject/dcpqzdtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Day 2591：学习|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！