薛定谔的酒精容器

前言 JVM可以说是下到应届生，上到高级开发都是面试必考的知识，只是深浅的不同罢了，但是百变不离其中，了解JVM的基本原理与作用，大部分的面试题也能对答如流。为避免阅读疲劳，...

薛定谔的酒精容器

前言 从这章开始，我们正式进入Java代码的相关面试，部分较为基础的、带坑的面试题我将放在《漫聊系列》里面，而体系相对较为庞大的内容我将单独分为一个章节放在本系列当中进行讲解...

薛定谔的酒精容器

前言 经过一个月的调研和快速试错，我们的ClickHouse集群已经正式投入生产环境，在此过程中总结出了部分有用的经验，现记录如下。看官可去粗取精，按照自己项目中的实际情况采...

薛定谔的酒精容器

前言 ClickHouse为用户提供了丰富的多参聚合函数（parametric aggregate function）和基于数组+Lambda表达式的高阶函数（higher-...

薛定谔的酒精容器

前言 Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置，这也是Flink 1.10版本最主要的改进与优化点之一。根据社区的说法，该propo...

薛定谔的酒精容器

一个问题 我们使用如下的参数提交了Flink on YARN作业（per-job模式）。 该作业启动了10个TaskManager，并正常运行。来到该任务的Web界面，随便打...

薛定谔的酒精容器

前言 之前的文章中已经屡次提到过Flink的事件时间（event time）、水印（watermark）、乱序（out-of-order）、迟到数据（late element...

薛定谔的酒精容器

前言 一年一度的双11又要到了，阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数...

薛定谔的酒精容器

Data Enrichment 在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。例如，对于埋点日志流而言，为了减少传输...

薛定谔的酒精容器

前言 最近在搞520大促的事情，忙到脚不点地，所以就写些简单省事的吧。 物化视图概念 我们都知道，数据库中的视图（view）是从一张或多张数据库表查询导出的虚拟表，反映基础表...

薛定谔的酒精容器

昨天的文章里恰好用Top-N Function来举了例子，那么择日不如撞日，今天接着聊吧。 Top-N Top-N是我们应用Flink进行业务开发时的常见场景，传统的Data...

薛定谔的酒精容器

我自从高中接触Ubuntu开始就知道了top命令，工作以来更是没少使用它，但从来没有为它写过一篇总结。今天比较累，这种文章又不费脑子，就顺手写一写吧。 通俗点说，Linux中...

薛定谔的酒精容器

Update：Canal与Camus的结合使用，见https://www.jianshu.com/p/4c4213385368。 Canal是阿里开源的一个比较有名的Java...

薛定谔的酒精容器

前言 笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现...