发简信
IP属地：安徽
-
Flink CDC实战之Oracle同步Mysql
简介 最近有个项目要对接ZF的数据，数据库为Oracle，由于采用OGG的方式同步费用很高，于是想到采用FlinkCDC的方式进行同步。 Ins...
-
PyFlink集群部署前言 前面讲到flink实时计算用户画像的功能，flink需要调用python写的算法库，之前的两种方案都存在各种各样的问题，最后决定采用pyf...
-
Cpython简单介绍
前言 上一篇介绍了Java采用Jython调用python程序的方式，但是问题是目前只支持python2.x，如果需要调用python3.x目前...
-
Jython简单介绍
前言 Jython(原 JPython)，是一个用 Java 语言写的 Python 解释器。由于python语法简洁，写起来快，而且目前有很多...
-
Flink CDC实战之Mysql同步Hudi简介 在业务开发过程中，mysql应该是最常用的数据库了。不同业务部门会有自己的mysql集群，为了解决数据孤岛问题，我们必须对数据进行同步整合...
-
基于混合云构建调度平台简介 很多业务场景对数据的安全性要求很高，所以会采用私有云部署应用，但是开发和运营需要在公有云操作，所以很多企业都采用公有云+私有云的架构模式，...
-
DataX扩展hudiwriter组件前言 最近公司启动了一个规划2年的项目，是做一个数据平台。主要包括数据同步（实时/离线）、mapping（实时/离线）、数仓（实时/离线）、源数...
-
湖数据运维(Data Lake Ops)
前言 最近在做一个用户画像的项目，我主要负责数据模块，架构大概是： 首先从各业务库和数仓接入数据，经过mapping处理后统一存储在hudi中，...
-
Flink CDC实战之Mongo同步Mysql
简介 面对复杂的业务场景，企业可能会选用不同的数据库，这给业务之间数据交互，数据分析等带来一定的困扰，对此，数据同步起到很重要的作用，目前业内成...