七十年代，我们村东头有个毛笔厂，做各种各样的毛笔，远销很多地方。做毛笔要用到兔毛，所以远近有很多养兔子薅兔毛的人家。但上好的毛笔，要用狼毫来做，狼毫笔是黄鼠狼尾巴上的毛做的，...
发简信
IP属地：北京
-
Flink详解系列之九--反压机制和处理反压是什么 反压是在实时数据处理中，数据管道某个节点上游产生数据的速度大于该节点处理数据速度的一种现象。反压会从该节点向上游传递，一直到数据源，并降低数据源的摄入速度。这在流...
-
Flink详解系列之八--Checkpoint和Savepoint一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 B...
-
Flink详解之七--状态管理
一、概念 实时处理中的很多操作都是一次对单个事件做处理，也有一些操作需要历史事件的信息，这些操作被称为有状态的。也就是说，所谓的状态就是由历史事件处理供后续操作使用的信息。 ...
-
flink算子：union和connect
在合并数据流时，可以使用union和connect两种算子，两者的使用方式如下。 union 1、可以合并两个以上的数据流；2、合并的各实时流数据类型必须相同；3、合并的结果...
-
Flink详解系列之六--窗口机制窗口是flink处理无限流的核心,窗口将流拆分为有限大小的“桶”，我们可以在这些桶上进行计算。 1、Keyed vs Non-Keyed Windows 根据上游数据是否为K...
-
Flink详解系列之五--水位线（watermark）1、概念 在Flink中，水位线是一种衡量Event Time进展的机制，用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现。 从设备生成实时流事件，到Flin...
-
Flink详解系列之四--时间在流处理场景中，处理的是持续到达且可能是无穷的事件流，时间在这样的应用中是最核心的要素。Flink定义了三种时间类型： 事件时间（Event Time） 事件时间是数据流中事...
-
Flink详解系列之二--核心概念一、流处理 在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你...
-
Flink详解之一--概述近段时间，由于公司项目的相关需求，需要对Flink做详细的梳理，我把学习过程整理成Flink详解系列的10篇左右的总结，供大家参考。 大数据计算引擎的发展 近年来随着大数据的...
-
如何培养孩子的阅读习惯
阅读的重要性是不言而喻的，想让孩子养成自主阅读的习惯，并不是一件非常难的事情，我就以我家孩子为例（目前6岁），简单介绍下我的感触，希望对会有大家有帮助。 首先，要培养孩子的阅...
-
python上下文管理器(context manager)
首先，什么是上下文管理器？上下文管理器就是实现了上下文管理协议的对象。主要用于保存和恢复各种全局状态，关闭文件等，上下文管理器本身就是一种装饰器。下面我们就通过一下几个部分，...
-
python匿名函数(lambda function)
在python中，除了一般使用def定义的函数外，还有一种使用lambda定义的匿名函数。这种函数可以用在任何普通函数可以使用的地方，但在定义时被严格限定为单一表达式。从语义...
-
诚招管理员！联系我~ 本专题专注于大数据技术，包括但不限于：分布式系统，hadoop，spark，storm，mesos，hbase，zookeeper。。。 Tips:如果是自己学习这些技术，通过社区学习是一个不错的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
python描述器(Descriptor)
描述器协议 描述器协议包括以下3个方法： object.__get__(self, instance, owner)调用时得到类的属性（类属性访问控制）或者类的实例的属性(实...
-
python装饰器(Decorator)
装饰器是一种设计模式，它提供了强大的复用非业务逻辑的能力，经典的应用场景有日志记录、性能测试、事务处理等。下面分几个部分逐步介绍python中的装饰器。 1、python如何...
