240 发简信
IP属地:北京
  • 对于异步提交的方式,存在一种异常:如果在提交的过程中提交失败,那么对于消费者来说应该还会发生重复消费的问题。
    使用 java 时可以采取异步+同步的方式,即异步提交发生异常时使用同步的时候。
    在 spark 消费 kafka 的过程中是怎么处理这种异常问题呢?

    Kafka+Spark Streaming管理offset的两种方法

    Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一,主要是用于数据实时入库或分析。 为了应对可能出现的引起Streaming程序崩溃的异常情况,我们一...

  • 请问生成RoaringBitmap 的代码中 mp 是指的什么?

    greenplum 导入 Spark计算的RoaringBitmap

    最近在做基于标签的圈人。通过bitmap来做,使用开源的RoaringBitmap,数据存储在hive上。开始是通过greenplum的pxf插件,将数据导入到gp,然后聚合...

  • 120
    一条数据的HBase之旅,简明HBase入门教程-开篇

    常见的HBase新手问题:1. 什么样的数据适合用HBase来存储?2. 既然HBase也是一个数据库,能否用它将现有系统中昂贵的Oracle替换掉?3. 存放于HBase中...