美文网首页
大数据项目,计算某均值场景的内存优化方案

大数据项目,计算某均值场景的内存优化方案

作者: 假程序员 | 来源:发表于2022-09-03 20:57 被阅读0次

    普通数据读取,一般都是将数据完全读入内存之后,在根据某些特征分组后,再计算分组内的均值指标;此举要求,申请的内存需不小于读取的数据所占用的内存总和。
    现提出一个优化方案,数据读取时,先判断特征(特征可以是多个关键字组合),如果特征不存在,那就把这条数据加入进去,并计数数据条数,如果特征已存在,则先根据数据条数求出原来的总和,并计算出新的均值,再计数数据条数,如此循环,可使用相对有限的内存读出,可以达到节省内存的目的。

    具体代码,由于涉密问题,不便放出,请谅解。

    相关文章

      网友评论

          本文标题:大数据项目,计算某均值场景的内存优化方案

          本文链接:https://www.haomeiwen.com/subject/pmgenrtx.html