前言 这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Check...
概述 Flink 处理机制的核心,就是“有状态的流式计算”。不论是简单聚合、窗口聚合,还是处理函数的应用,都会有状态的身影出现。 状态就如同事务...
概述 无论是基本的简单转换和聚合,还是基于窗口的计算,都是针对一条流上的数据进行处理的。而在实际应用中,可能需要将不同来源的数据连接合并在一起处...
前言 flink处理数据流时,经常会遇到这样的情况:处理一个数据源时,往往需要将该源中的不同类型的数据做分割(分流)处理,假如使用 filter...
前言 在更底层,可以不定义任何具体的算子(比如 map,filter,或者 window),而只是提炼出一个统一的“处理”(process)操作...
Transformation 数据流转换算子 Map map可以理解为映射,对每个元素进行一定的变换后,映射为另一个元素。 FlatMap fl...
前言 在真实的场景中数据流往往都是没有界限的,无休止的,就像是一个通道中水流持续不断地通过管道流向别处,这样显然是无法进行处理、计算的,可以将这...
前言 在流数据处理应用中,一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”,一般就是划定的一段时间范围,也就是“时间窗”;对在这范围内的数...
前言 Flink 作为数据处理框架,最终还是要把计算处理的结果写入外部存储,为外部应用提供支持。我们已经了解了 Flink 程序如何对数据进行读...
文集作者