Elasticsearch之聚合分析

  • 什么是聚合分析?
    聚合分析,英文为Aggregation,是ES除搜索功能外提供的针对ES数据做统计分析的功能。功能丰富,提供Bucket,Metric,Pipeline等多种分析方式,可以满足大部分的分析需求。实时性高,所有的计算结果都是即时返回的。
    聚合分析作为search的一部分,api如下图所示:
    聚合分析
    为了便于理解,ES将聚合分析主要分为如下4类:
      - Bucket:分桶类型。类似SQl中的GROUP BY 语法
      - Metric:指标分析类型,如计算最大值、最小值、平均值等等
      - Pipeline:管道分析类型,基于上一级的聚合分析结果进行再分析
      - Matrix:矩阵分析类型
  • Metric
    主要分如下两类:
      - 单值分析,只输出一个分析结果
        - min,max,avg,sum
        - cardinality
      - 多值分析
        - stats,extended,stats
        - percentile,percentile rank
        - top hits
      - Min,返回数值类的最小值
    Min
    max,avg,sum 用法与min的用法类似
  • 一次返回多个聚合结果,api及响应如下所示:
    返回多个结果
      - Cardinality,意为集合的势,或者基数,是指不同数值的个数,类似SQL中的distinct count概念,api及响应如下:
    Cardinality
    - Stats,返回一系列的数值类型的统计,包括min,max,avg,sum 和 count,api及响应如下:
    stats
    - Extended Stats,对stats的扩展,包含了更多的统计数据,如方差,标准差等,api及响应如下:
    Extended Stats
    - Percentile / Percentile Rank,百分位数统计,api及响应如下:
    Percentile
    Percentile Rank
    - Top Hits,一般用于分桶后获取该桶内的最匹配的顶部文档列表,即详情数据,api及响应如下:
    Top Hits
  • Bucket
      - bucket,意为桶,即按照一定规则将文档分配到不同桶中,达到分类的目的。
    Bucket

      - 按照Bucket的分桶策略,常见的Bucket聚合分析如下:
        - Terms:该分桶策略最简单,直接按照 term 来分桶,如果是 text 类型,则按照分词后的结果分桶
    Terms 分桶
        - Range:通过指定数值的范围来设定分桶规则
    Range 分桶
        - Date Range:通过指定日期范围来设定分桶规则
    Date Range 分桶
        - Histogram:直方图,以固定间隔的策略来分割数据
    Histogram分桶
        - Date Histogram:针对日期的我直方图或者柱状图,是时序数据分析中常用的聚合分析类型
    Date Histogram 分桶
  • Bucket + Metric 聚合分析
    Bucket聚合分析允许通过添加子分析来进一步进行分析,该子分析可以是Bucket也可以是Metric。这也使得es的聚合分析能力变得异常强大
      - 分桶后再分桶
    Bucket + Bucket
      - 分桶后再进行聚合分析
    Bucket + Metric
  • Pipeline 聚合分析
  • Pipeline,针对聚合分析的结果再次进行聚合分析,而且支持支链调用。 Pipeline的分析结果会输出到原结果中,根据输出位置的不同,分为以下两类:
      - Parent 结果内嵌到现有的聚合分析结果中
       - Derivative (求导)
       - Moving Average(移动平均值)
       - Cumulative Sum(累计求和)
      - Sibling 结果与现有的聚合分析同级
       - Max /Min / Avg/ Sum Bucket
       - Stats / Extended Stats Bucket
       - Percentiles Bucket

Min Bucket,如下例,找出所有Bucket中值最小的Bucket的名称和值

Min Bucke

Stats, 如下例,计算出所有的Bucket值的Stats(多值分析)
Stats

*Derivative *, 如下例,计算Bucket 值的导数
Derivative

作用范围
ES聚合分析默认作用范围是 query 的结果集,可以通过如下的方式改变其作用范围:
  - filter
  - post_filter
  - global
image.png

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容