240 发简信
IP属地:北京
  • 您好,请教一个问题,我不太明白怎样去理解 spark memory和jvm memory,因为每个executor都是一个jvm进程,但是文档上讲的是executor把heap主要分成了storage和execution、user memory,所以我现在就有点懵了,jvm进程不应该是heap(young,survivor,old)和non-heap吗?storage和execution是咋分的?当我在程序里创建一个对象的时候,在jvm里肯定是在eden区,可是在spark的内存模型里呢,是在storage还是在user memory

    Spark on Yarn之Executor内存管理

    本文1、2、3节介绍了Spark 内存相关之识,第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...

  • 120
    [联通]大数据精准营销,你不得不get的“掘金神器”

    联通张磊:大数据精准营销,你不得不get的“掘金神器” https://mp.weixin.qq.com/s?src=3&timestamp=1500160220&ver=...

  • Python中文字符的理解:str()、repr()、print

    都说Python人不把文字编码这块从头到尾、从古至今全研究通透的话是完全玩不转的。我终于深刻的理解到了。通宵了好几夜,各种试验,print、print再print,中文还是既...