背景 在调试flink写hdfs和hive时，任务总是报各种各样的异常，其中255问题最多，异常信息如下： 这段异常是yarn报出来的，根本原因...

上一篇中写了Kafka to Hive的样例，在实际测试过程中，发现性能比较差。 问题1 我使用的是Flink1.11.1版本，这个版本有个性能...

背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入...

背景 Flink的filesystem connector支持写入hdfs，同时支持基于Checkpoint的滚动策略，每次做Checkpoin...

前言 ZSTD压缩算法是现在最流行压缩算法了，有着高压缩比和压缩性能强的有点，已经被各大框架所使用。目前hadoop 3.1.0版本已经支持ZS...

背景 最近在用filesystem connector来写hdfs，底层是通过StreamFileSink实现的。在看官方文档[https://...

代码在flink-table-runtime-blink模块,用户指南参考官网[https://ci.apache.org/projects/f...

前言 Flink jdbc connect已经为依赖于jdbc进行操作的数据库系统提供了非常完善的功能。对于扩展只需要扩展其Dialect即可。...

背景 目前flink sql是不支持source/sink并行度配置的，flink sql中各算子并行度默认是根据source的partitio...