发简信
IP属地：广东
-
Spark中Executor内存中管理机制分为两种1.静态内存管理2.统一内存管理一.静态内存管理 首先定义内存的大小为3G（--executor-memory 3G）定义完成后，静态的...
-
Spark shuffle中 reduce task是怎么拉取数据的？1.map task 执行完毕后会将计算状态以及磁盘小文件位置等信息分装到mapStatue对象中，然后由本进程中的MapOutPutTrack...
-
Spark shuffle一.reduceByKey的含义reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的...
-
会发生shuule的算子
reduceByKeycountByKeyjoingroupByKeycogroup他们的共同特点都是一些聚合类的算子
-
Spark中sortByKey是如何进行全局排序的首先有一个问题有一台服务器:24core 128G内存，要处理一个1T的数据怎么办？ 要采用拆分策略，将1T的数据拆分成128G大小的块进入服务...
-
统计一下每一个月份中，温度最高top2
思路首先按照月份来分组，对组内的数据按照温度来排序取温度最高的前两名，然后分组取RDD代码 关于serialVersionUIDserialVe...
-
根据温度排序，温度相同按照湿度排序
原始数据 思路：1.将数据读取到RDD1中2.将RDD1中的数据转换成K-V格式的RDD23.对RDD2使用sortByKey排序代码 其中So...
-
map 和 mapPartitions
map:遍历算子，可以遍历RDD中每一个元素，遍历的单位是每条记录 mapPartitions遍历算子，可以改变RDD格式，会提高RDD并行度，...
-
reduceByKey和countByKey区别
相同点： 两者都会根据key来分组 不同点：reduceByKey会根据用户传入的聚合逻辑对数组内的数据进行聚合，countByKey不需要用户...