Google 之前贡献给 Apache 基金会的大数据引擎 Beam,目前已经完成孵化,上升到一级项目,网址: https://beam.apache.org/
Apache Beam 称自己是一个高级的统一编程模型,可用于批处理或流失数据处理作业。你可以用它来创建一个数据处理管线,完成各种大并发的处理任务。
Apache Beam 目前支持 4 种后端 runner,分别为 Apache Apex、Apache Flink、Apache Spark,以及 Google Cloud Dataflow,均处于研发阶段。
目前支持的开发语言仅有 Java 一种,正处于活跃开发中。第二个将被支持的开发语言为 Python,即将面世。
据说这个引擎对机器学习的支持也不错,感兴趣的读者可以开始尝鲜了。Quickstart 链接: https://beam.apache.org/get-started/quickstart/