数据仓库面试问题汇总

      毕业后做了7年java应用开发,主要在一家传统软件公司做BI相关的东西。因为主要是写业务代码,大公司都有自己的技术平台,所以java技术也并不很强,多线程都很少自己写。最近三年到了互联网公司,转到做数仓相关的项目,其实主要是用hive sql在做数据处理,就是被鄙视的sql boy。由于进的并不是正经的数仓部门,而是在数仓基础上做数据应用系统的部门,所以还是偏业务,且对数仓理解不是很深入。所以本人技术水平很渣。面试了很多,面不过。把遇到的问题记录下来,希望可以和大家一起探讨,也是一种提高吧。如果大家能够回答这些问题,希望可以回复。

说一说你整个项目从数据采集到指标、报表的这整个过程是怎么做的吧。

这个问题还是挺能反映应聘者能力的,因为数仓是比较杂的一个工种,在不同的公司或者不同的项目,侧重点不一样。比如小公司基本上从ETL开始就要亲力亲为了,对于建模理论要求没那么迫切。大公司可能etl基于平台,开发量变少,但是对建模、数据治理要求可能更高。还有的公司更偏重数据分析的思路,或者说分析业务的思路,而不是单纯搞搞工程。开放问题,回答的时候就是把自己的项目说清楚。如果不知道怎么说清楚,那么推荐一个技巧:把各个阶段的产出物交代清楚,比如了解业务阶段输出什么、建模阶段输出什么,等等。我太渣了,没真正从0做过数仓,项目经验不足,哪里能找到标准一点的答案呢?从《阿里巴巴大数据之路》里面能找到吗?

事实表有哪几种类型?

本渣之前看过《数据仓库工具箱---维度建模指南》,但一时想不起来了,仔细想还是想不起来。确定看过,确定想不起。

缓慢变化维你们是怎么处理的?

使用拉链表

拉链表是怎么实现的?

这个在网上一搜可以搜到实例,但是如果结合业务再问的话,这是一个可以问的挺深的问题。数仓就是这样一个跟业务强结合的东西,离开业务抽象出来的东西反而没有灵魂,解决具体业务问题的方法才是价值。

数据总线矩阵是怎么理解的,为什么要做这个?

感觉可以从数据整合、数据打通等角度回答吧,回答不好。

你们的数仓是怎么样的架构?

技术架构我基本不会,所以也没什么可以说的。只会一个数仓分层:ods、dwd、dwb、ads(app)。细问的话会有很多衍生问题:

ods你们是怎么实现的?

dwd这一层做了什么?

维度建模用在哪一层上?

维度建模有什么优缺点?

更好的应对业务变化,数据冗余多,占空间多,就是用空间换时间。这个问题其实还蛮难的,分析优缺点,就要有对比,跟别的建模方式对比,只有对其他的建模方式有理解才可能回答出来。

做数据仓库如何解决不同业务部门的统计口径不一致的问题?

我们公司业务变化特别快,有时候半年业务主流程就会大变,这种情况下,你怎么应对?

如何评价一个数据仓库的好坏?

数据准确性、时效性、健壮性。面试官说这些都是一些原则,比较虚,有没有可衡量的指标?就是一个数据仓库建好了,用这些指标评价它好不好,有不好的要指出来,指导它改进。这个我真不知道。

mapreduce原理清楚吗?讲一讲,画一画那个经典的流程图吧。

从hive sql提交到生成mapreduce任务,再执行,这个过程是怎么样的?资源调度是怎样的?

hive优化接触过吗?做过哪些?

hive的数据倾斜一般怎么处理?

spark用过吗?

spark现在用的是真多。。。

你们的数仓建设过程中是如何保障数据正确性的?

让你建设一个数仓的话,你的关注点有哪些?

这个就开放问题了,能看出做数仓的思路,也能看出对数仓理解的情况。如果对面试官的路子就好。

你的项目中怎么应用维度建模?能具体说说吗,具体的表有哪些?

RCFile解析过吗?文件结构是怎么样的?

udaf写过吗?udtf呢?怎么写,分哪几个步骤,怎么转换成mr的?

hive中transform用过吗?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容