自从Flink出了FlinkCDC之后,我们对数据库日志的采集就变得方便了许多了,除去了MaxWell、Cannel、OGG等第三方组件的繁...
有时候,我们需要去连接数据库,然后统计下目标库表字段的值有多少个空值,并且计算出它的缺失率: 这时候如果表中有几个字段,并且总共统计的就...
为了资源共用,我们的数据和上一篇文章一样,这个实战案例的技术和思想在现实开发的需求中还是比较常见的,以广告为例子,需求是: 一、Kafka ...
在之前的文章中我们使用 Flink 也实现过 topn 的案例;这里,为了温习 Spark 如何访问 kafka 以及 DStream 的操...
有时候为了安全,我们的数据需要做一些加密操作,现实项目中也确实如此,加密的方式很多,那么我们今天就是用最常用的一种方式:AES加解密 这里...
一般情况下,我们通用属性一般都是写在属性文件中,然后通过configparser根据其键去获取相对应的值,还有就是字典中比较key和valu...
Python作为脚本语言,比shell和其它脚本更加好用,主要是Python提供了丰富的类库,现在越来越多的框架都开启了PyAPI,特别是机...
我们实时的流处理入 ElasticSearch 中还是比较麻烦的,虽然说 flink 提供了相关的 sink 接口,但是一般来说仅仅是简单的...
这个案例是建立在上一篇的基础之上,之所以做总结是因为网上很多都只是简单的调用API而已,根本找不到优化过后的 sink 自定义方法,显示的生...