开局一张图，内容全靠吹。（本图纯copy）

spark 架构

写了spark程序已经半年有余，越学越觉得自己啥也没学到。决定把spark沾边的全搞一下。

首选spark sql，为啥咧？因为我用到了->_-> 2333....

我们都晓得，spark核心是rdd，spark sql同理！只是在这里他不叫rdd，而是叫dataFrame或者叫dataSet。如果你只想对着demo撸代码，那么直接跳过这么多废话，直接下面代码，如果有兴趣，听听本司机姗姗。

你可能会想问，spark sql干嘛的。我理解是：把数据结构化处理。那rdd不是的吗？当然是。但是两个使用场景不同。（这里解释有点不对，别较真。rdd比较复杂，这里只用它一个用途来理解它。）

通常spark 处理流程是 sc.textFile()//或者其他接口函数读取数据 -> rdd迭代处理->放到另一个地方(可以是控制台)  (当然所有程序到最后都是干这事，实在无聊。)

这里sc读数据是按行读的。并不区分字段和字段类型。这是rdd初始性质。当然你可以使用其他格式比如avro等序列化格式，这时读是结构化数据。如果你只是对数据过滤处理那么使用rdd一点毛病都没有。那么如果你想对数据做过滤、分组和统计查询等操作呢。这时你发现，如果要是TM像数据库一样就好了，何苦来着还写map-reduce。（当然也很简单，但是你会发现spark sql更简单。人是懒惰的，你用惯了 scala你再回去用用java试试！）而且使用现成的开源代码更安全，说不定你写一个map弄错了字段，让你找bug找一天。

此处copy 介绍一下  rdd，DF（dataFrame） ，DS（dataset）区别：

  出门右转->  https://www.cnblogs.com/starwater/p/6841807.html

spark sql api document文档有点长，介绍的有点啰嗦。我前后看了两遍，觉得还是分享一下好，因为别人再去看也蛮浪费时间的。

我们按照三步走：

1、数据怎么加载，加载方式；

2、怎么处理，有哪些函数接口；

3、怎么存，有哪些格式！over（本文档纯属使用文档！关键也没啥原理可讲）

1、数据加载。

加载数据初始步骤

如上图，使用spark sql，先申请一个sqlContext。当然我使用的是CHD jar包。你可以使用spark sql jar包效果一样，申请方式是：

官方文档

这里我们就按照我使用的jar包的函数接口使用。上面我截图 故意把 sqlcontext的函数接口截出来了，就是没事可以去翻翻他的函数有哪些，都是干嘛的，这样下次你就不会自己去想怎么写了。

spark sql通过read数据，read下面有一大串读数据指定数据格式方法。

read小弟

你发现，有orc，json，text。竟然还有jdbc。是不是发现新大陆了。也就是说读数据我们可以通过read想怎么读就怎么读。读出来的就是结构化，除了text。上demo：

官方demo

sqlContext.read.orc("C:\\Users\\Admin\\Desktop\\out\\orc").show()

结果为：

个人demo（我命名的orc两个字段名就是zhou|yue）

你会说text怎么结构化呢？这么玩就行。

var fields ="zhou|yue".split("\\|").map(x => {

StructField(x, DataTypes.createDecimalType(38, 2), true)

})

var rdd = sc.textFile("C:\\Users\\Admin\\Desktop\\test").map(x => {

var tmp = x.split("\\|")

Row(BigDecimal.apply(tmp(0), MathContext.UNLIMITED), BigDecimal.apply(tmp(1), MathContext.UNLIMITED))

})

var schema =StructType(fields)

var data = sqlContext.createDataFrame(rdd, schema)

如果是hive数据呢？

这么读：

sqlContext.sql("select * " +" from " +databaseName.tableName)

mysql的呢:

mysql

读数据大致就这么读。这里给额外科普一下。否则可能你会遇到问题或者bug(自建struct会用到)。

出门右转左拐->https://blog.csdn.net/gangchengzhong/article/details/70153932

有些兄弟懒，喜欢用case class，但是这个申明的类只能有22个字段有木有。方法是有点，不过不简单了。

出门东拐，东拐再东拐：https://blog.csdn.net/high2011/article/details/81032049

2、spark sql处理数据。

spark sql尽然是想像sql那样用，那当然得支持sql的处理方式。那么常用的几个方法是。

select，filter，groupby，agg，as，join，count，column等。CHD的方法解释比较到位截个图给你看：

你看 就差 把饭端起来喂你了。

所以 这里方法使用不写了，冗余！你可以直接用idea打开去看函数一个一个翻着看。

3、存

存和read相对，那就是write。

write的方法有不少：

方法列表

从方法名字，我们就可以看出他们是干嘛的。具体操作就不列了。因为没意思。所以这里不写。

写写一些额外有用的东西。

1

2

就是这两张表。sql中的数据类型并不是和数据库中的或者scala中完全对应。有时你会发现报 schema 吧啦吧啦 类型不能转换成 吧啦吧啦类型。这时就是你使用的类型错误导致的。所以好好研究一下这个表有需要。好了今天就讲到这里了，快下班了！所以后面写的有点急，如有疑问！可以留言。