240 发简信
IP属地:广东
  • Resize,w 360,h 240
    flink-cdc 之mongoDb源码分析-1

    相当于mysql-cdc的大动作(后面我会讲),我读源码之后发现, 这个mongoDb-cdc的实现(2.2.1)代码不是很复杂,现在简单记录一...

  • FLINK-CDC 之 MongoDB

    MongoDB CDC 连接器允许从 MongoDB 读取快照数据和增量数据。 依赖项 为了设置 MongoDB CDC 连接器,下表提供了使用...

  • 本地k8s(v1.12官网译文)

    该页面介绍了如何在Kubernetes上本地部署Flink。 入门 本入门部分将指导您在Kubernetes上设置功能齐全的Flink集群。 介...

  • Resize,w 360,h 240
    zookeeper

    1 ZK到底是啥? zookeeper是个服务,服务的对象我们都称为客户端,在大数据生态里面的客户,hadoop、hbase、hive…组件都是...

  • Resize,w 360,h 240
    5 一文看完flink的内存管理

    背景 1)java对象的存储密度比较低,对象主要包含 对象头,对象数据,对齐填充。 其中对齐填充是没用的,纯粹是为了让对象的大小到达8的倍数 2...

  • Resize,w 360,h 240
    4 checkpoint 和state的那些事儿

    本文主要参考唐云《flink checkpoint 轻量级分布式快照》,严禁转载,违者必究 checkpoint 是flink的一个执行操作,动...

  • Resize,w 360,h 240
    3 on yarn的任务提交过程

    1 client向yarn提交相应的Job 2 client上传jar和配置 3ResourceManager分配Container资源并通知对...

  • Resize,w 360,h 240
    2 jobmanager的全部职责

    1 和client的交互 客户端负责将任务提交到集群,与 JobManager 构建 Akka 连接,然后将任务提交到 JobManager,通...

  • Resize,w 360,h 240
    Flink 架构--官网译文(v1.11)

    Flink是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。 它与所有常见的群集资源管理器(如Hadoop YARN,Apache...