Java bug搬运工，小数据攻城狮^O^
发简信
IP属地：广东
-
Java Agent简介这个是之前写类加载器篇时候挖的坑，来填坑了。 引言 以前在做后台服务开发的时候，SpringBoot每次改动代码都需要手动重启才能生效，感觉贼麻烦，后来使用Spring提供的...
-
Apache Parquet设计解读官网地址：https://parquet.apache.org/docs[https://parquet.apache.org/docs]编码：https://www.wai...
-
-
案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台目录指引 1. IDS 的简介 2. IDS 的诞生背景 3. IDS——合数据工坊的实践之路 3.1 用户权限3.2 引擎增强3.3 作业调度3.4 数据治理3.5 IDS...
-
本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
-
2021-04-27-MySQL数据库快照备份
title: 2021-04-27-MySQL数据库快照备份date: 2021-04-27 22:20:20categories: [mysql]tags: [mysql数...
-
hive的serde解析与应用
今天把serde讲解和相关应用整理一下，参考文档如下参考的官方文档:https://cwiki.apache.org/confluence/display/Hive/Deve...
-
spark(strcuted streaming)和flink的水印
watermarker watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timest...
-
Kafka设计解析（三）恰好一次和事务消息1.幂等消息 为了解决重试导致的消息重复、乱序问题，kafka引入了幂等消息。幂等消息保证producer在一次会话内写入一个partition内的消息具有幂等性，可以通过重...
-
帮你快速理解 Spark 的分区器
本文基于Spark2.1.0版本 0，引言： Spark一般是部署在分布式环境中的(有可能是在区域集中的集群上，也有可能跨城市)，而在分布式环境中，数据在各节点进行网络的传递...
-
MapReduce之Shuffle详解原文地址： https://itweknow.cn/detail?id=64 ，欢迎大家访问。 简介 MapReduce程序会确保每个reduce函数的输入都是按键排序的。系...
-
yarn和mapreduce资源调优
1.yarn---Memory调优 YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一...
-
-
Hadoop源码学习——DistributedFileSystem、DFSClient、Namenode三者的协作（4）
我们先来看看Hadoop源码中对DFS Client的注释说明： 显然，DFSClient在DistributedFileSystem和NameNode和之间起到了桥梁的作用...
-
实力来自点点滴滴的积累，专注原创，分享大数据技术。
