1. 社区的发展
离不开核心开发者的推动,愿意普及的意识,资本的加入等
2. 带着脑子
一位仁兄提的问题,Flink为啥没有提到shuffle,而这是spark、mr等系统必提的内容。
真正熟悉Flink的阿里技术人答曰:Flink是流式的,没有所谓的shuffle。
Flink走的是类似storm将数据直接推送的模式(网络模式和shuffle的数据传输是类似的),所以不存在类似mr,将数据落盘,然后进行shuffle的东西,但阿里做批流一体时,添加了shuffle manager来提高吞吐。
只是听,不结合知识背景,不进行思考,我想是难以提出好问题的,这个问题也加深了我对各系统的理解。
3. 理解其他领域
EMQ 2012年开始做物联网,对接各种联网设备,面临多种多样的协议,复杂的联网环境等多种问题,虽然最近5g带动万物互联的理念很火,但离大范围开启物联网应用还有一定距离。
想进入物联网领域,就需要调研好形势。