提问：spark 数据源有几种扩展方式？ 答：三种，两种是基于datasource v1的，第三种是datasource v2的实现；不推荐前两种方法，实现有点复杂推荐使用第...
发简信
IP属地：广东
-
spark 数据源 扩展 之 excel
-
PicGo + Gitee(码云)实现markdown图床
前言：深感在线博客的编辑器坑太多了，文档丢失、必须联网、可移植性太差，所以开始寻找可替代的方案。 markdown是一门易于上手能帮助作者专心写作的文档编辑语言，它的好处太多...
-
可能是目前颜值最高的开源BI工具-Superset没有声音，再好的戏也出不来同样，没有可视化，再好的数据分析也不完美数据可视化是大数据的『最后一公里』 简介 Superset的Airbnb开源的数据可视化工具，目前属于Apa...
-
数据中台到底是什么？
阿里提出了“大中台，小前台”，其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部，数据技术及产品部应是数据中台建设的核心部门。 那么，数据中台到底是什么？具体包含哪些...
-
NameNode内存解析及大小评估
HDFS由NameNode和DataNode组成，其中NameNode作为Master节点，负责维护整个集群的状态，为了提高响应速度其大部分数据都常驻内存，则NameNode...
-
Spark应用分片介绍
引言 分布式计算的基本思路是将数据分为多个部分，将同样的数据操作方式在数据的不同部分上执行，分别获得结果，然后通过“汇聚处理”的方式得到结果。如何将数据分为多个部分（也就是“...
-
Spark系列 —— 各类算子详解（一）
前言 本文主要是一篇总结性文章，将列举绝大部分的 Spark Transformation算子及其使用方法 和一些使用场景。 Transformation 算子 该类算子属于...
-
Spark Multi Tenancy系列 - 2 还是社区问题
问题1 spark.driver.allowMultipleContexts SparkContext.scala#L79这个配置项拆开来念spark driver allo...
