您好,请教一个问题,我不太明白怎样去理解 spark memory和jvm memory,因为每个executor都是一个jvm进程,但是文档上讲的是executor把heap主要分成了storage和execution、user memory,所以我现在就有点懵了,jvm进程不应该是heap(young,survivor,old)和non-heap吗?storage和execution是咋分的?当我在程序里创建一个对象的时候,在jvm里肯定是在eden区,可是在spark的内存模型里呢,是在storage还是在user memory
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识,第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...