分为两种1.静态内存管理2.统一内存管理一.静态内存管理 首先定义内存的大小为3G（--executor-memory 3G）定义完成后，静态的内存管理，管理的内存分为三大部...
发简信
IP属地：广东
-
Spark中Executor内存中管理机制 -
Spark shuffle中 reduce task是怎么拉取数据的？1.map task 执行完毕后会将计算状态以及磁盘小文件位置等信息分装到mapStatue对象中，然后由本进程中的MapOutPutTrackerWorker对象将mapS...
-
Spark shuffle一.reduceByKey的含义reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是<key,v...
-
Spark中sortByKey是如何进行全局排序的首先有一个问题有一台服务器:24core 128G内存，要处理一个1T的数据怎么办？ 要采用拆分策略，将1T的数据拆分成128G大小的块进入服务器计算。1T数据拆分成了8个块...
-
统计一下每一个月份中，温度最高top2
思路首先按照月份来分组，对组内的数据按照温度来排序取温度最高的前两名，然后分组取RDD代码 关于serialVersionUIDserialVersionUID适用于Java...
-
根据温度排序，温度相同按照湿度排序
原始数据 思路：1.将数据读取到RDD1中2.将RDD1中的数据转换成K-V格式的RDD23.对RDD2使用sortByKey排序代码 其中SortObj用来寻找温度相同的元...
-
map 和 mapPartitions
map:遍历算子，可以遍历RDD中每一个元素，遍历的单位是每条记录 mapPartitions遍历算子，可以改变RDD格式，会提高RDD并行度，遍历单位是partition，...
-
reduceByKey和countByKey区别
相同点： 两者都会根据key来分组 不同点：reduceByKey会根据用户传入的聚合逻辑对数组内的数据进行聚合，countByKey不需要用户传入聚合逻辑，他是直接对数组内...
-
repartition 和 coalesce算子coalesce（number，bool）第一个参数是将RDD划分成几个partition 第二个算子是确定是否发生shuffle，true指的是发生shuffle，fals...
-
粗粒度资源调度和细粒度资源调度
一.粗粒度资源调度：典型：Spark 在Application执行之前，会将所有的资源(Executor)申请完毕，直接资源申请完毕后，才会进行任务调度，直到最后一个task...
-
提交Application的两种方式
一.提交Application的两种方式分别是client方式和cluster方式1.client方式这种方式，Driver进程是在client端启动启动代码样例 2.clu...
-
Spark中的共享变量---广播变量和累加器
一.广播变量和累加器的作用累加器（集群规模之间的大变量）：做Spark的全局统计使用广播变量（集群规模间的大常量）：在每一台机器上缓存一个只读的变量，而不是每个任务一份拷贝。...
-
Spark集群术语&Pipeline计算模式1.Master(standalone)：资源管理的主节点（进程）管理Worker2.Cluster Manager：在集群上获取资源的外部服务（例如：standalone ...
-
RDD依赖关系---宽依赖窄依赖依赖关系可以方便任务调度 窄依赖：对RDD执行操作后，父RDD和子RDD对应关系的一对一或多对一（多对一只是一个逻辑上的说法，两个合并为一个既没有数据的传输也没有发生shuf...
-
-
Spark集群不使用客户端会出现的问题，以及配置客户端要注意的问题通过Master节点提交的Application到Spark集群中运行。如果以后频繁地使用Master节点来提交Application，那么会导致Master节点的性能与其它...
