无需言做自己

01 什么是数据漂移 数据漂移指的是在数据同步过程之中，ODS表同一个业务日期包含前一天的数据或丢失了当天的数据、或者包含后一天的数据。 02 为什么会产生数据漂移 数仓OD...

无需言做自己

Spark任务通过application id在Spark UI查看任务执行状态，任务大多数以on yarn的形式提交到Spark集群。 1、定义：yarn是一种hadoop...

无需言做自己

Spark有BroadCastJoin、ShuffleHashJoin、SortMergeJoin三种join方式。首先讲一下hash join的过程。 hash join过...

无需言做自己

1、union 和 union all的区别 union会对结果进行去重，union all会保留重复数据 2、窗口函数rank() over(order by )、dens...

无需言做自己

1 整体优化思路 1、从数据任务本身出发，优化业务逻辑代码，偏业务优化 2、 从集群的资源参数进行优化，偏技术优化 3、从全局的角度观察任务的调度设置是否合理，优化任务优先级...

无需言做自己

给大家分享一些只有经历了才能深切感同身受的几句话，与君共勉： 1、人生没有彩排，看似有意无意的安排，都会成为成为界定结果。 2、愿你好好珍惜现在的每分每秒，结果不会说谎。 3...

无需言做自己

01 国外有一个叫摩根的青年，每天闲的蛋疼，有天突发奇想——连续吃三十天麦当劳会怎样？ 他说干就干，一日三餐都吃麦当劳，连吃三十天。 他还用摄像机记录下了这一过程。 三十天后...

无需言做自己

2021 年，我给自己定的一个关键词是「平衡」。 说到平衡，可能很多人会想到工作和生活的平衡，所谓的 Work-Life Balance。但我并不喜欢这种说法，因为这意味着，...

无需言做自己

1、在外面混，姿态别太卑微，有个性的人更能赢得别人尊重。 有些人遇到大佬，说话都发抖。就问你怕个啥？你花他钱了？吃他大米了？做过对不起他的事了？ 越卑微，别人觉得你越弱，不如...

无需言做自己

伏尔泰说过一句富有哲理的话，不经巨大的困难，不会有伟大的事业。这似乎解答了我的疑惑。 我认为， 我们不得不面对一个非常尴尬的事实，那就是， 从这个角度来看， 要想清楚，...