什么是Kafka[#---kafka] Kafka的应用场景[#kafka-----] Kafka的架构[#kafka---]consumer的pull模式和push模式的区...
IP属地:广东
什么是Kafka[#---kafka] Kafka的应用场景[#kafka-----] Kafka的架构[#kafka---]consumer的pull模式和push模式的区...
Hadoop 的组成 HDFS管理者:namenode工作者:DataNode辅助管理者:secondaryNameNode MapReduce YARN管理者:Resour...
背景 由于公司内部需求较多,并不想每次都写一个 streaming 程序,故而开始搭建 flinksql 平台,基于 jdk1.8,flink1.12.x 效果 传一个 sq...
Flink是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。 它与所有常见的群集资源管理器(如Hadoop YARN,Apache Mesos和Kubernet...
概览 JobManager协调每个Flink部署。 它负责调度和资源管理。 默认情况下,每个Flink集群只有一个JobManager实例。 这将创建一个单点故障(SPOF)...
本文详解 Checkpoint 机制,分享 Checkpoint 问题排查的手段,包括失败、延期等问题。 1.Checkpoint 机制 1.1 Checkpoint 概念 ...
也许你之前没有做过大规模数据处理的项目,但是 Spark 这个词我相信你一定有所耳闻。Spark 是当今最流行的分布式大规模数据处理引擎,被广泛应用在各类大数据处理场景。 2...