美文网首页
跑批优化

跑批优化

作者: 奶茶007 | 来源:发表于2020-03-05 09:03 被阅读0次

我们系统有个后台跑批,所谓跑批就是通过程序逻辑加工处理一些数据。首先我们从源头库把需要的表接进来,然后按照需要的逻辑加工处理。这个后台跑批任务是每天都需要进行的,比如我们需要接入交易,每天都会有新增的交易,客户,账户。
有个跑批任务已经跑了几年了没有问题,语句没有变,结果某一天突然跑不过去了,一直卡住,报错资源忙。
表的关联关系如下:
表 A,表 B where A.col1 = B.col1 and a.row_date=date'2020-03-05'
and b.row_date=date'2020-03-05' and b.trans_date=date'2020-03-05'
分析问题,单独查询统计表A的row_date=date'2020-03-05'的数据量大概400多万,
单独统计表B的row_date=date'2020-03-05'的数据量大概300多万,再统计表B的row_date=date'2020-03-05' and b.trans_date=date'2020-03-05' 的数据量大概几百条,所以需要用中间表过渡,先把表B的row_date=date'2020-03-05' and b.trans_date=date'2020-03-05' 的数据放到一张中间表C,然后让表A和表C关联,结果很快可以执行通过。
至于为什么一直每天跑的语句会在某一天有问题,现在还不知道,不过也给自己提了个醒不要陷入惯性思维,以前没有问题不代表以后没有问题,事物都是时刻在变化的,只不过很多变化我自己没有察觉原因,只知道了结果,如果我一直陷入语句不应该有问题,为什么一样的语句以前没有问题,今天就有问题了呢?这样的死循环可能会真的无解。我总是会希望不要有什么变化,特别对自己有利的,比如工作稳定,系统稳定,但其实这都是我的一厢情愿,调整自己的心态,不要太过于惯性思维,拥抱变化!让自己不断的学习强大,才会更加的有安全感。面对风险的能力也会有所提高。

相关文章

  • 跑批优化

    我们系统有个后台跑批,所谓跑批就是通过程序逻辑加工处理一些数据。首先我们从源头库把需要的表接进来,然后按照需要的逻...

  • 动态合批和静态合批的区别

    参考文章:图形渲染及优化—Unity合批技术实践图形渲染及优化—Batch 批是啥?对某对象进行批量处理叫批处理 ...

  • Shell脚本中实现hbase shell命令调用

    为了优化性能,大数据平台上的HBase表需要在脚本跑批过程中对创建的索引进行rebuild,因此说明下如何在she...

  • Quartz实现跑批

    Quartz介绍 1.特点 (1)强大的调度功能:作为spring默认的调度框架,很容易与spring集成,实现灵...

  • 换工作,就意味着一定会比之前过得好吗?

    应届毕业生,目前就职于一家日用品的传统行业,主要的工作是做方案,被批,优化,做方案,被批,优化...... 按照常...

  • gluon.Trainer()

    #定义优化算法 #Trainer实例,学习率=0.03小批量随机梯度下降(sgd)为优化算法 #迭代net实例 #...

  • 跑批利器--SpringBatch框架

    Spring Batch的框架包括启动批处理作业的组件和存储Job执行产生的元数据。如果你作为一个批处理应用程序的...

  • 架构师自诉:如何做到百万数据半小时跑批结束

    业务背景 跑批通常指代的是我们应用程序针对某一批数据进行特定的处理 在金融业务中一般跑批的场景有分户日结、账务计提...

  • Hadoop 企业优化

    1 MapReduce 跑的慢的原因 2 MapReduce 优化方法 MapReduce优化方法主要从六个方面考...

  • hadoop 调优措施 调优参数

    MapReduce 跑的慢的原因 MapReduce优化方法 MapReduce优化方法主要从六个方面考虑:数据输...

网友评论

      本文标题:跑批优化

      本文链接:https://www.haomeiwen.com/subject/pwxtrhtx.html