普通数据读取，一般都是将数据完全读入内存之后，在根据某些特征分组后，再计算分组内的均值指标；此举要求，申请的内存需不小于读取的数据所占用的内存总和。
现提出一个优化方案，数据读取时，先判断特征(特征可以是多个关键字组合)，如果特征不存在，那就把这条数据加入进去，并计数数据条数，如果特征已存在，则先根据数据条数求出原来的总和，并计算出新的均值，再计数数据条数，如此循环，可使用相对有限的内存读出，可以达到节省内存的目的。
具体代码，由于涉密问题，不便放出，请谅解。
大数据项目，计算某均值场景的内存优化方案
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
