在日常flink应用中，相信大家经常会遇到checkpoint超时失败这类的问题，遇到这种情况的时候仅仅只会在jobmanager处打一个超时abort的日志，往往一脸懵逼不...
IP属地：广东
-
Flink常见Checkpoint超时问题排查思路
-
Spark Streaming + Kafka + Redis状态管理 top100场景 Exactly Once最近面试蚂蚁金服一面的时候，和面试官聊项目问题的时候，发现我这边业务实现的top100场景好像没有实现exactly once语义，我们项目的offset是存储在zk中，...
-
Spark 应用场景示例
Spark 应用场景示例 Spark 项目搭建 环境介绍 框架版本Centos7Java8Scala2.11.12SBT1.0Spark2.3.0IDEA pluginSca...
-
Spark+Hbase 亿级流量分析实战（ 留存计算）这篇已经是本系列文章的第五篇了，简书/小红书/CSDN 还不快来感谢大猪，上一篇大猪已经介绍 PV/UV 的实现方式以及程序的计算逻辑，本篇大猪继续为小伙伴介绍 留存，看在S...
-
Phoenix自定义函数UDF异常解决方案
在Phoenix客户端使用自定义函数UDF时候是正常的,但是在本地测试的时候报Function类找不到的异常。 异常演示 例子 CRC32Function.java 导入ph...
-
Hbase - 自定义Rowkey规则在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Fl...
-
11.Hbase安装与配置关系型数据库 定义： 采用了关系模型来组织数据的数据库代表产品：Mysql，Oracle，sql server大数据时代下的瓶颈： 高并发读写需求 海量数据的高效率读写 高扩...
-
hadoop 新增datanode 扩容我们的机器 由于 日志量大 又开始了扩容，hadoop 2.8 不支持 disk volume level rebalance ，hadoop 3.0支持，可是 我们安装的...
-
VMware虚拟机的网络模式 — 桥接模式、仅主机模式、NAT模式的特点和配置了解网络模式之前，先看看所涉及到的虚拟设备 一. VMware虚拟设备 1. 三种虚拟交换机（对应三种网络模式） VMnet0 虚拟交换机 ：Bridged桥接模式 VMne...
