发简信
IP属地：上海
-
设计模式：桥接模式0x01 背景 当一个类存在一个（或多个）变化的维度时，如果采用继承的方式来定义不同的实现，会导致实现类数量呈指数爆炸，比如对于画布来说，形状上...
-
Clickhouse的bitmap函数
bitmapBuild(array) 从无符号整型（UInt8、UInt32、UInt64等）array构造bitmap bitmapToArr...
-
Spark任务调优
0x01 数据序列化调优 在进行RDD缓存和Shuffle过程时，Spark会将数据对象进行序列化，所以选择合适的序列化方法，可以提高spark...
-
Spark数据倾斜的处理方案0x01 数据倾斜发生的原理 Spark在进行Shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按...
-
Spark的Stage划分0x01 宽依赖和窄依赖 窄依赖： 父RDD的每个分区最多被子RDD的一个分区所用（一个父RDD分区对应一个子RDD分区），即父RDD的数据没有...
-
Kafka生产者的消息分区策略问题：有哪些分区策略/分区算法？ 分区策略的定义：决定生产者将消息发送到哪个分区的算法。 1. 轮询策略/顺序分配（默认分区策略） 优点：可以提...