35篇文章 · 39736字 · 39人关注
-
Databricks Delta Lake 了解下？Delta Lake is an open-source storage layer that brings ACID transactions...
-
Spark 内存管理的前世今生（上）欢迎关注我的微信公众号：FunnyBigData 作为打着 “内存计算” 旗号出道的 Spark，内存管理是其非常重要的模块。作为使用者，搞清楚...
-
Spark 内存管理的前世今生（下）欢迎关注我的微信公众号：FunnyBigData 在《Spark 内存管理的前世今生（上）》中，我们介绍了 UnifiedMemoryManag...
-
Spark Task 内存管理（on-heap&off-heap）
本文为 Spark 2.0 源码分析，其他版本可能会有所不同 在之前的文章中（Spark 新旧内存管理方案（上）[https://www.jia...
-
Spark Task 的执行流程④ - task 结果的处理本文为 Spark 2.0 源码分析笔记，其他版本可能稍有不同 Spark Task 的执行流程③ - 执行 task[https://www....
-
Spark Task 的执行流程③ - 执行 task本文为 Spark 2.0 源码分析笔记，其他版本可能稍有不同 创建、分发 Task一文中我们提到 TaskRunner（继承于 Runnabl...
-
Spark Task 的执行流程② - 创建、分发 Task本文为 Spark 2.0 源码分析笔记，由于源码只包含 standalone 模式下完整的 executor 相关代码，所以本文主要针对 st...
-
Spark Task 的执行流程① - 分配 tasks 给 executors本文为 Spark 2.0 版本的源码分析，其他版本可能会有所不同 TaskScheduler 作为资源调度器的一个重要职责就在： 集群可用资源...
-
Spark executor 模块④ - Task 的执行流程
Task 的执行流程相关内容在一年多以前的文章 Task的调度与执行源码剖析[https://www.jianshu.com/p/9a059ac...
文集作者