一、概述

1. 关键技术：预计算、大规模并行处理、列式存储

2. 工作原理本质：MOLAP（多维立方体分析），具体过程：

   1. 指定数据模型，定义维度和度量

   2. 预计算cube，计算所有的cuboid并保存为物化视图

   3. 执行查询时，读取cuboid，运算，产生查询结果

3. 技术架构：

   架构图

4. 特点：

   1. 支持标准sql接口：像原来查询hive一样编写sql

   2. 支持超大数据集：使用cube预计算技术，理论上支持的数据集大小并没有上限，kylin在数据集规模上的局限性主要基于维度的个数和基数。

   3. 亚秒级响应

   4. 可伸缩和高吞吐率

二、Cube配置

1. 维度配置：

   • Mandatory：指的是那些总是会出现在Where条件或Group By语句里的维度；通过将某个维度指定为Mandatory，Kylin就可以不用预计算那些不包含此维度的Cuboid，从而减少计算量

   • Hierarchy：一组有层级关系的维度。例如“国家”，“省”，“市”，用户会按高级别维度进行查询，也会按低级别维度进行查询，但在查询低级别维度时，往往都会带上高级别维度的条件，而不会孤立地审视低级别维度的数据。通过指Hierarchy，Kylin可以省略不满足此模式的Cuboid

   • Joint是将多个维度组合成一个维度，其通常适用于两种情形：1、总是会在一起查询的维度；2、基数很低的维度

2. Rowkeys配置：

   原则：在查询中被用作过滤条件的维度有可能放在其他维度的前面；将经常出现在查询中的维度放在不经常出现的维度的前面；对于基数较高的维度，如果查询会有这个维度上的过滤条件，那么将它往前调整；如果没有，则向后调整

三、Cube优化

1. cuboid剪枝优化

   1. 参考Mandatory、Hierarchy、Joint高级设置，减少不必要的维度预计算

   2. 利用自带工具检查cuboid数量：bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader {CUBE_NAME}，查看分析结果中cuboid的父子数量，大小、行数、shrink（缩水率）

   3. 检查cube大小：在WebUI界面查看cube的大小，以及源数据的大小，膨胀率（Expansion Rate），一般cube的膨胀率在0-1000%内，膨胀率超过这个范围一般有以下原因：

      • cube中维度的数量较多，没有进行很好的cube剪枝优化

      • cube中存在较高维度的基数，导致包含这一类维度的cuboid占用空间很大

      • 存在比较占用空间的度量，例如count distinct

   4. 时间与空间的平衡

2. 剪枝优化的工具

   1. 使用衍生维度

   2. 使用聚合组（划分出自己关注的组合大类）

      例如ABCD维度中选择AB作为一个聚合组，则会分化成ABCD、AB、A、B、* 这些聚合组。对于查询中如果存在没有在聚合组的维度时，Kylin会通过在线计算方式得到结果

   3. 使用联合维度（某些个维度一定会同时出现），优化效果：将N个维度中X个维度设置为关联维度，则这N个维度组合成的cuboid个数会从2ⁿ减少到2^(N-X+1)

      例如ABCD维度中选择ABC作为联合维度时，则所有的维度组合为：ABCD、ABC、D、*

   4. 使用层级维度（选择的维度中常常会出现具有层级关系的维度，例如国家-省-市），优化效果：优化效果：将N个维度中X个维度设置为层级维度，则cuboid个数减少到 (X+1) * 2^(N-X)

   5. 强制维度（所有的查询请求中都存在group by这个维度，那么这个维度就被称为强制维度），优化效果：将X个维度设为强制维度，则cuboid个数减少到2^(N-X)

3. 并发粒度优化

4. RowKey优化（编码、维度分片、RowKey字段顺序）

5. 其他优化

   1. 降低度量精度

   2. 及时清理无用的Segment