Avatar notebook default
21篇文章 · 94242字 · 2人关注
  • Resize,w 360,h 240
    Apache Flink——容错机制相关概念

    前言 这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Check...

  • Resize,w 360,h 240
    Apache Flink——状态编程

    概述 Flink 处理机制的核心,就是“有状态的流式计算”。不论是简单聚合、窗口聚合,还是处理函数的应用,都会有状态的身影出现。 状态就如同事务...

  • Resize,w 360,h 240
    Apache Flink——多流转换

    概述 无论是基本的简单转换和聚合,还是基于窗口的计算,都是针对一条流上的数据进行处理的。而在实际应用中,可能需要将不同来源的数据连接合并在一起处...

    3.5 1463 0 17
  • Apache Flink——侧输出流(side output)

    前言 flink处理数据流时,经常会遇到这样的情况:处理一个数据源时,往往需要将该源中的不同类型的数据做分割(分流)处理,假如使用 filter...

    2.4 7452 0 14
  • Resize,w 360,h 240
    Apache Flink——处理函数

    前言 在更底层,可以不定义任何具体的算子(比如 map,filter,或者 window),而只是提炼出一个统一的“处理”(process)操作...

  • Resize,w 360,h 240
    Apache Flink——DataStream算子汇总

    Transformation 数据流转换算子 Map map可以理解为映射,对每个元素进行一定的变换后,映射为另一个元素。 FlatMap fl...

  • Resize,w 360,h 240
    Apache Flink——窗口(Window)

    前言 在真实的场景中数据流往往都是没有界限的,无休止的,就像是一个通道中水流持续不断地通过管道流向别处,这样显然是无法进行处理、计算的,可以将这...

  • Resize,w 360,h 240
    Apache Flink——Watermark 水位线

    前言 在流数据处理应用中,一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”,一般就是划定的一段时间范围,也就是“时间窗”;对在这范围内的数...

  • Resize,w 360,h 240
    Apache Flink——输出算子(Sink)

    前言 Flink 作为数据处理框架,最终还是要把计算处理的结果写入外部存储,为外部应用提供支持。我们已经了解了 Flink 程序如何对数据进行读...

文集作者