对于异步提交的方式,存在一种异常:如果在提交的过程中提交失败,那么对于消费者来说应该还会发生重复消费的问题。
使用 java 时可以采取异步+同步的方式,即异步提交发生异常时使用同步的时候。
在 spark 消费 kafka 的过程中是怎么处理这种异常问题呢?
Kafka+Spark Streaming管理offset的两种方法Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一,主要是用于数据实时入库或分析。 为了应对可能出现的引起Streaming程序崩溃的异常情况,我们一...