首先回答一个问题,数仓工程师的职责是什么?个人认为就是要使得数据流通起来,把数据从一个地方传输到另一个地方,在当前的大数据技术发展背景下,大多数的数仓人员都是使用SQL来实现数据的流通的,大数据技术SQL化对企业来说是好事,更容易维护,更容易找到下一个开发者,但是对从业人员是坏事,SQL谁不会写啊,换言之就是门槛低,没有较高的职业壁垒,于是我们焦虑了....
确实如此,好用的工具必然要淘汰难用的工具的,工具是越来越好用的,易用的,比如是Kylin,2016年左右还是有非常多的互联网公司使用的,但是现如今几乎没有一线的互联网公司使用的,这是出现了更好用的工具,例如是clickhouse,starrocks,selectdb等,在大部分场景下完全可以替换掉kylin,比kylin性能更好,更好用的,又比如是Javaweb开发中的spring全家桶,更多的时候使用注解和配置就可以省略掉非常多的代码.你看工具是不是越来越好用的,易用的....
于是我们可以认为未来是属于SQL的,它真的使用广泛,非常好用
我想解决一下我们的焦虑,个人认为可以从这几个方面来考虑入手
- 转行,立即转行或者以工程师的身份投入到相似的工作中
- 先工作个5-10年的时间,凑够足够养活自己/父母/家庭的本钱(10年可能不够),然后考公务员去或者留学去
- 我确实没有开玩笑,上面两条确实是我所思所想的,下面的几条建议是给数仓人员的建议
- 别的不说,先把英语学好,现在文档都是英语写的,好的技术博客也是在国外的网站上,英语发表的,作为一个工程师,想要走的远,做的高,先放下你的焦虑,把雅思过了再说吧.....
- 数仓建模和数据治理,这两个东西非常抽象,当然了面试可以头头是道,但是在实际的工作中,我从我的经验中发现,确实是理论并没有落地实践,当然了,一方面随着经验的增加也会有所心得,另一方面现在流行的数据湖,数据编织等,个人认为也在从技术的角度解决数据建模和数据治理的问题.数据治理其实还是好说的,目前来看也是有非常好的落地的,但是就数据建模这一点,虽然书中多有论述,但是确实是非常抽象,到底什么是好的数据建模?我也不好说
- 要学会使用可视化工具中的数据图表表达明了的逻辑
- 数仓工程师不仅要面对技术问题,业务问题,事实还有权力问题,举个简单的例子,可能你想要的某个字段刚好某张表有,但是这张表是别的部门的,可能密级较高,无法授权给外BU的..等等吧,我也不好说,数仓工程师有责任推动权力问题的解决
- 数仓工程师在技术点上非常被动,大部分时候都是SQL,所以应该掌握一些后端技术,协助实现数据的流通,但是后端技术也是太多了,应该学什么,我的建议是在工作中学习,本质上还是协助功能,当然了你可以做一些flink事件驱动的开发,当然了这远远超过了数仓的职责范畴
- 埋点和数据链路,对于互联网数仓来说,这两点是重要的,你应该要理清数据是如何产生的,如何消费的,如何过滤的,如何回流的,本质上还是流通
- 数仓 + 业务 + 算法(数据驱动)
先写10点,我觉得没个4,5年是搞不定的,仅一点可能也是4,5年的时间吧,对于我来说,我马上开始背单词了......
人生很难有一刻是焦虑或困惑的,应该珍惜,趁着这一刻理清思路,不指望有什么突破,说实话大部分时候还是原地踏步的....,普通个体除非是强运,才有极大概率走入正轨,大部分时候普通个体还是走一步看一步,生存是困难的,即便是步步为营,也有可能面临淘汰的.....好好生活
