spark从1.6.0开始内存管理发生了变化，原来的内存管理由StaticMemoryManager实现，现在被称为Legacy,在1.5.x和...
投稿
收录了13篇文章 · 33人关注
-
Spark统一内存管理
-
Spark 源码解析 : DAGScheduler中的DAG划分与提交一、Spark 运行架构 Spark 运行架构如下图：各个RDD之间存在着依赖关系，这些依赖关系形成有向无环图DAG，DAGScheduler对...
-
Spark Rpc通信源码分析Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式。其具体实现有A...
-
Spark的位置优先: TaskSetManager 的有效 Locality Levelsbased on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages t...
-
16.Spark Streaming源码解读之数据清理机制解析
本期内容：一、Spark Streaming 数据清理总览二、****Spark Streaming ****数据清理过程详解三、****Spa...
-
15、Spark Streaming源码解读之No Receivers彻底思考
在前几期文章里讲了带Receiver的Spark Streaming 应用的相关源码解读，但是现在开发Spark Streaming的应用越来越...
-
14：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密
首先简单解释一下什么是state(状态)管理？我们以wordcount为例。每个batchInterval会计算当前batch的单词计数，那如果...
-
Spark-Streaming Windows开发环境案例搭建运行（图文）前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长具体代码可参考本人GitHub地址：https://gith...
-
Spark RDD数据关联过滤案例
前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长QQ:86608625 微信:guofei1990123 ...
-
第12课：Spark Streaming源码解读之Executor容错安全性一、Spark Streaming 数据安全性的考虑： Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集...
专题公告
分享spark技术，和spark一起改变世界
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/257532/spakr.jpg', '推荐专题《Spark技术》（ 分享自 @简书 ）','https://wsa.jianshu.io/c/d890dfc0ec98?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}