普通数据读取,一般都是将数据完全读入内存之后,在根据某些特征分组后,再计算分组内的均值指标;此举要求,申请的内存需不小于读取的数据所占用的内存总和。
现提出一个优化方案,数据读取时,先判断特征(特征可以是多个关键字组合),如果特征不存在,那就把这条数据加入进去,并计数数据条数,如果特征已存在,则先根据数据条数求出原来的总和,并计算出新的均值,再计数数据条数,如此循环,可使用相对有限的内存读出,可以达到节省内存的目的。
具体代码,由于涉密问题,不便放出,请谅解。
普通数据读取,一般都是将数据完全读入内存之后,在根据某些特征分组后,再计算分组内的均值指标;此举要求,申请的内存需不小于读取的数据所占用的内存总和。
现提出一个优化方案,数据读取时,先判断特征(特征可以是多个关键字组合),如果特征不存在,那就把这条数据加入进去,并计数数据条数,如果特征已存在,则先根据数据条数求出原来的总和,并计算出新的均值,再计数数据条数,如此循环,可使用相对有限的内存读出,可以达到节省内存的目的。
具体代码,由于涉密问题,不便放出,请谅解。
本文标题:大数据项目,计算某均值场景的内存优化方案
本文链接:https://www.haomeiwen.com/subject/pmgenrtx.html
网友评论