这篇内容基于我去年的一些感悟写的，但是今年才在Stuq 的微信群做的分享。从技术角度而言，对Spark的掌握和使用还是显得很手生的。但是今天一位做数据分析相关的朋友说，受这篇...
发简信
IP属地：西藏
-
(课程)基于Spark的机器学习经验
-
【Spark】Spark基本概念
Spark专用名词 RDD ---- resillient distributed dataset 弹性分布式数据集 Operation ---- 作用于RDD的各种操作分为...
-
-
[源码剖析]Spark读取配置Spark读取配置 我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式： spark-submit的--executor-mem...
-
Spark 多个Stage执行是串行执行的么？上次在做内部培训的时候，我讲了这么一句： 一个Job里的Stage都是串行的，前一个Stage完成后下一个Stage才会进行。 显然上面的话是不严谨的。 看如下的代码： 这里...
-
Spark 1.6 内存管理模型( Unified Memory Management)分析
2016年1月4号 Spark 1.6 发布。提出了一个新的内存管理模型： Unified Memory Management。这篇文章会详细分析新的内存管理模型，方便大家做...
