Spark优化与实践 - 专题

投稿

收录了33篇文章 · 82人关注

Spark withColumn 陷阱
withColumn / withColumnRenamed 是 spark 中常用的 API，可以用于添加新字段 / 字段重命名 / 修改字...

0.1 breeze_lsw 0 3
Spark task的输入太大如何分割？
上周调优一个job 的时候发现一个join 意外的耗时间，如图上一个join的shuffle操作就耗时1.2h. Input 才91GB, s...

zhangliyun 2 2

由于小文件产生的spark job performance问题
上周在调优一个job ,发现spark history 出现一个重复出现的job , 这个job 写着Listing leaf files a...

0.1 zhangliyun 0 3
使用 aspectj 对 spark 进行拦截
背景开源产品要想用的得心应手免不了要根据公司的业务/场景对其做一些改造，如果直接在源码的层面对其修改，当下可能用的很省心，但后期与社区代码的合...

0.2 breeze_lsw 0 3
Delta Presto Integration & Manifests 机制
Delta 0.5 已于上周发布，增加了不少新特性，这篇文章主要讲解其 Presto Integration 和 Manifests 机制。该功...

breeze_lsw 1 0
Delta Lake 平台化实践（离线篇)
Delta Lake 是什么？简单的说就是为大数据场景添加了事务功能，并且支持了 update/delete/merge into 等功能， D...

0.9 breeze_lsw 0 6
spark 小文件合并优化实践
对 spark 任务数据落地(HDFS) 碎片文件过多的问题的优化实践及思考。背景此文是关于公司在 Delta Lake 上线之前对Spar...

0.5 breeze_lsw 0 4

spark2.3 跑不過去的join 排查
上週跑spark job 遇到這樣一個語句 select cc_base_part1.*,cc_base_part1.nsf_cards_ra...

zhangliyun 0 0
Spark 数据读取冷启动优化分析
有时候会发现即使是读取少量的数据，启动延时可能也非常大，针对该现象进行分析，并提供一些解决思路。背景 Spark 一次查询过程可以简单抽象为 ...

0.3 breeze_lsw 0 2
使用 jvm-profiler 分析 spark 内存使用
背景在生产环境中，为了提高任务提交的响应速度，我们研发了类似 Spark Jobserver 的服务，各种类型的 spark 任务复用已经启动...

0.1 breeze_lsw 0 1