240 发简信
IP属地:河南
  • 120
    设计模式:桥接模式

    0x01 背景 当一个类存在一个(或多个)变化的维度时,如果采用继承的方式来定义不同的实现,会导致实现类数量呈指数爆炸,比如对于画布来说,形状上有三种:正方形、长方形、圆形,...

  • Clickhouse的bitmap函数

    bitmapBuild(array) 从无符号整型(UInt8、UInt32、UInt64等)array构造bitmap bitmapToArray(bitmap) 将bit...

  • 120
    30张图带你彻底理解红黑树

    写在前面 当在10亿数据进行不到30次比较就能查找到目标时,不禁感叹编程之魅力!人类之伟大呀! —— 学红黑树有感。 终于,在学习了几天的红黑树相关的知识后,我想把我所学所想...

  • Spark任务调优

    0x01 数据序列化调优 在进行RDD缓存和Shuffle过程时,Spark会将数据对象进行序列化,所以选择合适的序列化方法,可以提高spark任务的性能。SPark提供了两...

  • 120
    Spark数据倾斜的处理方案

    0x01 数据倾斜发生的原理 Spark在进行Shuffle的时候,必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理,比如按照key进行聚合或join等操...

  • 120
    Spark的Stage划分

    0x01 宽依赖和窄依赖 窄依赖: 父RDD的每个分区最多被子RDD的一个分区所用(一个父RDD分区对应一个子RDD分区),即父RDD的数据没有被重新规划分区(没有被重新洗牌...

  • 120
    Kafka生产者的消息分区策略

    问题:有哪些分区策略/分区算法? 分区策略的定义:决定生产者将消息发送到哪个分区的算法。 1. 轮询策略/顺序分配(默认分区策略) 优点:可以提供非常优秀的负载均衡能力,可以...

  • 如何写出高质量的技术博客

    如何写出高质量的技术博客?答案是:如果你想,就一定能写出高质量的技术博客。看起来很唯心,但这就是事实。有足够愿力去做一件目标明确,有良好反馈系统的事情往往很简单。就是不停地训...

  • 120
    ##Spark数据倾斜(Data Skew)的N种姿势

    Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势 | 36大数据 http://www.36dsj.com/archives/78036 摘...