案例1：通过实体类转换读取数据：\t分割的日志文件 实现方法： 输出结果： 案例二：通过StructType转换输入数据： 代码： 输出结果：

Dataset其他常用函数有日期函数：current_date、current_timestamp数学函数：round随机函数：rand字符串函...

1.dataset基本聚合函数 dataset基本聚合函数如下:avg、sum、max、min、count、countDistinct实践：输入...

untyped操作：观察一下就会发现，实际上基本就涵盖了普通sql语法的全部。 untyped基本操作如下：selectwherejoingro...

1.coalesce和repartition操作 它们都是用来重新定义分区的，区别在于：coalesce，只能用于减少分区数量，而且可以选择不发...

基本操作介绍：持久化：cache、persist创建临时视图：createTempView、createOrReplaceTempView获取执...

action操作有：collect、count、first、foreach、reduce、show、take下面详细介绍其作用：collect：...

统计案例：计算部门的平均薪资和年龄需求：1、只统计年龄在20岁以上的员工2、根据部门名称和员工性别为粒度来进行统计3、统计出每个部门分性别的平均...

1.Spark SQL介绍 Spark SQL是Spark的一个模块，主要用于处理结构化的数据。与基础的Spark RDD API不同的是，Sp...

Spark 2.x与1.x对比 Spark 1.x：Spark Core（RDD）、Spark SQL（SQL+Dataframe+Datase...