我们平时在做报表的时候,经常会有各种分维度的汇总计算,在spark中我们最常用的就是groupBy操作,groupBy就是按照给定的字段名分组,后面接sum、count、avg等聚合操作;在spark中也提供了rollup、cube这样的分组函数,接下来本文就以一个实例展示一下这两个函数的作用。
我们先来看个需求:下面的表是某公司最近两年在全国各地的销售额,我们想要知道xiang华北地区的销售情况、北京地区的销售情况等,我们使用两次Groupby操作就能得到结果,也可以使用rollup实现聚合结果
// 加载销售额数据
val salesDF = spark.read .csv(inputFile)
rollup的使用:
rollup($"area", $"regional", $"year") 会先按照 area、regional、year分组;然后按照area、regional分组、然后再按照area分组,最后进行全表分组。后面接聚合函数,此处使用的是sum
salesDF.rollup($"area", $"regional", $"year")
.sum("sales")
rollup之后的结果查看:
cube的使用
cube就更厉害了 salesDF.cube($"area", $"regional", $"year") ;cube 会先按照(area、regional、yea)分组;然后是 (area、regional )、(area、year )、(area )、(regional、year )、( regiona )、(year )分组;最后进行全表分组。
salesDF.cube($"area", $"regional", $"year") .sum("sales")