MongoDB - 聚合

聚合操作处理数据记录并返回计算结果。聚合操作组将来自多个文档的值组合在一起，并且可以对分组数据执行各种操作以返回单个结果。MongoDB提供了执行聚合的三种方法：Aggregation Pipeline、Map-Reduce、Single Purpose Aggregation Operations。

1.Aggregation Pipeline

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传给下一个管道处理。聚合管道是一个强大的工具，类似shell中的管道，并且它能够支持分片集群。

聚合管道的语法如下，aggregate()的参数为一个管道操作符的数组。

db.collection.aggregate( [ { <stage> }, ... ] )
1.1 Aggregation Pipeline Stages

文档按照顺序通过一组聚合管道，聚合管道支持以下操作符。

1.1.1 $project

修改输入文档的结构（不影响原数据）：引入、去除指定字段

> db.user.find()
{ "_id" : ObjectId("5ae2d26a219cdd2458b3cac3"), "name" : "jack", "age" : 14 }
{ "_id" : ObjectId("5ae2d26c219cdd2458b3cac4"), "name" : "abc", "age" : 11 }
{ "_id" : ObjectId("5ae2d26d219cdd2458b3cac5"), "name" : "tom", "age" : 12, "tag" : "11岁以上", "r" : [ 5 ] }
> db.user.aggregate([{$project:{_id:0,name:1,age:1}}])
{ "name" : "jack", "age" : 14 }
{ "name" : "abc", "age" : 11 }
{ "name" : "tom", "age" : 12 }
1.1.2 $match

过滤数据，输出符合条件的文档。

> db.user.find({"name":"tom"})
{ "_id" : ObjectId("5ae2d26d219cdd2458b3cac5"), "name" : "tom", "age" : 12, "tag" : "11岁以上", "r" : [ 5 ] }
> db.user.aggregate([{$project:{_id:0,name:1,age:1}},{$match:{"name":"tom"}}])
{ "name" : "tom", "age" : 12 }
1.1.3 $limit

限制返回的文档数。

> db.user.aggregate([{$project:{_id:0,name:1,age:1}},{$limit:1}])
{ "name" : "jack", "age" : 14 }
1.1.4 $skip

跳过指定数量的文档。

> db.user.aggregate([{$project:{_id:0,name:1,age:1}},{$skip:2},{$limit:1}])
{ "name" : "tom", "age" : 12 }
1.1.5 $unwind

将数组类型字段值拆分成多条，每条包含数组的一个元素。

> db.user.find({"name":"rose"}).limit(1)
{ "_id" : ObjectId("5ae981f79ac174c20fb4c1f0"), "name" : "rose", "role" : [ 1, 2, 3, 4 ] }
> db.user.aggregate([{$match:{"name":"rose"}},{$limit:1},{$unwind:"$role"}])
{ "_id" : ObjectId("5ae981f79ac174c20fb4c1f0"), "name" : "rose", "role" : 1 }
{ "_id" : ObjectId("5ae981f79ac174c20fb4c1f0"), "name" : "rose", "role" : 2 }
{ "_id" : ObjectId("5ae981f79ac174c20fb4c1f0"), "name" : "rose", "role" : 3 }
{ "_id" : ObjectId("5ae981f79ac174c20fb4c1f0"), "name" : "rose", "role" : 4 }
1.1.6 $group

分组操作，类似sql中的group by，一般与管道表达式sum、min等组合使用。

语法如下

{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }

示例

> db.user.find().limit(3)
{ "_id" : ObjectId("5ae2d26a219cdd2458b3cac3"), "name" : "jack", "age" : 14 }
{ "_id" : ObjectId("5ae2d26c219cdd2458b3cac4"), "name" : "rose", "age" : 12 }
{ "_id" : ObjectId("5ae2d26d219cdd2458b3cac5"), "name" : "tom", "age" : 12, "tag" : "11岁以上", "r" : [ 5 ] }
> db.user.aggregate([{$limit:3},{$group:{_id:"$age"}}])
{ "_id" : 12 }
{ "_id" : 14 }
> db.user.aggregate([{$limit:3},{$group:{_id:"$age","n":{$max:"$name"}}}])
{ "_id" : 12, "n" : "tom" }
{ "_id" : 14, "n" : "jack" }
1.1.7 $sort

对文档进行排序，1为升序，-1为降序。

> db.user.aggregate([{$limit:3},{$sort:{age:1}},{$project:{_id:0,name:1,age:1}}])
{ "name" : "rose", "age" : 12 }
{ "name" : "tom", "age" : 12 }
{ "name" : "jack", "age" : 14 }
> db.user.aggregate([{$limit:3},{$sort:{age:1}},{$sort:{name:-1}},{$project:{_id:0,name:1,age:1}}])
{ "name" : "tom", "age" : 12 }
{ "name" : "rose", "age" : 12 }
{ "name" : "jack", "age" : 14 }
1.1.8 $lookup

用于多文档连接查询返回关联数据。

> db.product.find()
{ "_id" : 1, "name" : "产品1", "price" : 10, "type" : "品类1" }
{ "_id" : 2, "name" : "产品2", "price" : 11, "type" : "品类1" }
{ "_id" : 3, "name" : "产品3", "price" : 13, "type" : "品类2" }
{ "_id" : 4, "name" : "产品4", "price" : 15, "type" : "品类2" }
{ "_id" : 5, "name" : "产品5", "price" : 17, "type" : "品类3" }
{ "_id" : 6, "name" : "产品6", "price" : 19, "type" : "品类3" }
> db.order.find()
{ "_id" : 1, "product_id" : 1, "name" : "订单1" }
{ "_id" : 2, "product_id" : 2, "name" : "订单2" }
{ "_id" : 3, "product_id" : 2, "name" : "订单3" }
{ "_id" : 4, "product_id" : 1, "name" : "订单4" }
{ "_id" : 5, "name" : "订单5" }
> db.order.aggregate({$lookup:{from:"product",localField:"product_id",foreignField:"_id",as:"order_product"}})
{ "_id" : 1, "product_id" : 1, "name" : "订单1", "order_product" : [ { "_id" : 1, "name" : "产品1", "price" : 10, "type" : "品类1" } ] }
{ "_id" : 2, "product_id" : 2, "name" : "订单2", "order_product" : [ { "_id" : 2, "name" : "产品2", "price" : 11, "type" : "品类1" } ] }
{ "_id" : 3, "product_id" : 2, "name" : "订单3", "order_product" : [ { "_id" : 2, "name" : "产品2", "price" : 11, "type" : "品类1" } ] }
{ "_id" : 4, "product_id" : 1, "name" : "订单4", "order_product" : [ { "_id" : 1, "name" : "产品1", "price" : 10, "type" : "品类1" } ] }
{ "_id" : 5, "name" : "订单5", "order_product" : [ ] }

MongoDB 3.6加入了一些新的特性，可以到官网手册查阅
https://docs.mongodb.com/manual/reference/operator/aggregation/lookup/。

1.1.9 $geoNear

输出接近指定地点的文档，LBS相关的应用中常用。
https://docs.mongodb.com/manual/reference/operator/aggregation/geoNear/

1.2 Aggregation Pipeline Operators

聚合管道操作符可以构造用于聚合管道的表达式，聚合表达式的形式如下

{ <operator>: [ <argument1>, <argument2> ... ] }

如果操作符对应单个参数，其表达式形式如下

{ <operator>: <argument> }

MongoDB中支持的管道操作符太多，这里只给出几种常用的。

1.2.1 $sum 求和
> db.product.find()
{ "_id" : 1, "name" : "产品1", "price" : 10, "type" : "品类1" }
{ "_id" : 2, "name" : "产品2", "price" : 11, "type" : "品类1" }
{ "_id" : 3, "name" : "产品3", "price" : 13, "type" : "品类2" }
{ "_id" : 4, "name" : "产品4", "price" : 15, "type" : "品类2" }
{ "_id" : 5, "name" : "产品5", "price" : 17, "type" : "品类3" }
{ "_id" : 6, "name" : "产品6", "price" : 19, "type" : "品类3" }
> db.product.aggregate([{$group:{_id:"$type",price:{$sum:"$price"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "price" : 21 }
{ "_id" : "品类2", "price" : 28 }
{ "_id" : "品类3", "price" : 36 }
1.2.2 $avg 求平均值
> db.product.aggregate([{$group:{"_id":"$type","price":{$avg:"$price"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "price" : 10.5 }
{ "_id" : "品类2", "price" : 14 }
{ "_id" : "品类3", "price" : 18 }
1.2.3 $min 取最小值
> db.product.aggregate([{$group:{"_id":"$type","price":{$min:"$price"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "price" : 10 }
{ "_id" : "品类2", "price" : 13 }
{ "_id" : "品类3", "price" : 17 }
1.2.4 $max 取最大值
> db.product.aggregate([{$group:{"_id":"$type","price":{$max:"$price"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "price" : 11 }
{ "_id" : "品类2", "price" : 15 }
{ "_id" : "品类3", "price" : 19 }
1.2.5 $push 添加数组元素
> db.product.aggregate([{$group:{"_id":"$type","products":{$push:"$name"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "products" : [ "产品1", "产品2" ] }
{ "_id" : "品类2", "products" : [ "产品3", "产品4" ] }
{ "_id" : "品类3", "products" : [ "产品5", "产品6" ] }
1.2.6 $addToSet 添加数组元素（无重复）

$addToSet与$push几乎一致，区别就是不会添加已有值。

1.2.7 $first 取第一个元素
> db.product.aggregate([{$group:{"_id":"$type","product":{$first:"$name"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "product" : "产品1" }
{ "_id" : "品类2", "product" : "产品3" }
{ "_id" : "品类3", "product" : "产品5" }
1.2.8 $last 取最后一个元素
> db.product.aggregate([{$group:{"_id":"$type","product":{$last:"$name"}}},{$sort:{_id:1}}])
{ "_id" : "品类1", "product" : "产品2" }
{ "_id" : "品类2", "product" : "产品4" }
{ "_id" : "品类3", "product" : "产品6" }

更多管道操作相关内容查看官网文档 https://docs.mongodb.com/manual/reference/operator/aggregation/。

2.Map-Reduce Function

Map-Reduce是一个数据处理模型，它将大量数据分解（Map），再合并成最终结果（Reduce）。

以下图片是官方手册中Map-Reduce的处理过程的示例：

map-reduce.png

Map-Reduce的语法如下（[ 参数 ]为可选项）：

db.runCommand(
               {
                 mapReduce: <collection>,    # 要操作的集合
                 map: <function>,    # 映射函数（生成键值对序列，作为reduce函数参数）
                 reduce: <function>,    # 统计函数
                 [ finalize: <function>, ]    # 对reduce返回结果进行最终整理后存入结果集合
                 [ out: <output>, ]
                 [ query: <document>, ]  # 查询条件
                 [ sort: <document>, ]    # 排序
                 [ limit: <number>, ]    # 限制返回记录数量
                 [ scope: <document>, ]    # 向map、reduce、finalize函数传入外部变量
                 [ jsMode: <boolean>, ]
                 [ verbose: <boolean>, ]    # 显示详细的时间统计信息
                 [ bypassDocumentValidation: <boolean>, ]
                 [ collation: <document> ]
               }
             )

参数说明

  • map函数：function(){ emit(key,value) }，提交两个参数key和value，数据会根据key的值进行分组，同组的value值存入values中。key和value作为reduce函数的参数。
  • reduce函数：function(key,values){ }，参数key是分组字段，values是同组的值，reduce函数中对分组数据进行处理。
  • out：指定结果集保存在哪里，可以是一个集合名称，也可以使用如下文档配置
# 结果集存放在内存（结果集需要<16M）
{ inline:1 } 
# 结果集存放在集合中，如果该集合中已经有数据，可以选择以下三种模式处理
{ replace:"collection" }    # 集合中的旧数据被替换，不保留 
{ merge:"collection"}    # 合并含有相同键的结果文档
{ reduce:"collection"}    # 调用reduce函数，根据新值来处理旧集合的值

示例
准备数据

> db.order.find()
{ "_id" : ObjectId("5aec0f5733e1b532f26e4c74"), "cust_id" : "A123", "amount" : 500, "status" : "A" }
{ "_id" : ObjectId("5aec0f6333e1b532f26e4c75"), "cust_id" : "A123", "amount" : 250, "status" : "A" }
{ "_id" : ObjectId("5aec0f7333e1b532f26e4c76"), "cust_id" : "B212", "amount" : 200, "status" : "A" }
{ "_id" : ObjectId("5aec0f8333e1b532f26e4c77"), "cust_id" : "A123", "amount" : 300, "status" : "D" }

使用db.collection.mapReduce()的形式，结果集保存到内存

> db.order.mapReduce(function() {
...     emit(this.cust_id, this.amount);
... },
... function(key, values) {
...     return Array.sum(values)
... },
... {
...     query: {
...         status: "A"
...     },
...     out: {
...         inline: 1
...     },
...     finalize: function(key, reduced) {
...         return "总数为" + reduced;
...     }
... })
{
    "results" : [
        {
            "_id" : "A123",
            "value" : "总数为750"
        },
        {
            "_id" : "B212",
            "value" : "总数为200"
        }
    ],
    "timeMillis" : 14,
    "counts" : {
        "input" : 3,
        "emit" : 3,
        "reduce" : 1,
        "output" : 2
    },
    "ok" : 1
}

使用db.runCommand()的形式，结果集保存到指定的集合

> db.runCommand({
...     mapReduce: "order",
...     map: function() {
...         emit(this.cust_id, this.amount);
...     },
...     reduce: function(key, values) {
...         return Array.sum(values)
...     },
...     query: {
...         status: "A"
...     },
...     out: {
...         replace: "order_total"
...     },
...     finalize: function(key, reduced) {
...         return "总数为" + reduced
...     }
... })
{
    "result" : "order_total",
    "timeMillis" : 55,
    "counts" : {
        "input" : 3,
        "emit" : 3,
        "reduce" : 1,
        "output" : 2
    },
    "ok" : 1
}
> db.order_total.find()
{ "_id" : "A123", "value" : "总数为750" }
{ "_id" : "B212", "value" : "总数为200" }

示例中仅仅演示了求和，除此以外，reduce函数中可以根据需要进行一系列的复杂处理。

3.Single Purpose Aggregation Methods

MongoDB同样提供了一些单一用途的聚合函数

  • db.collection.count()：返回匹配的文档数

  • db.collection.distinct()：以数组形式返回去重的字段值

> db.user.find()
{ "_id" : ObjectId("5ae2d26a219cdd2458b3cac3"), "name" : "jack", "age" : 14 }
{ "_id" : ObjectId("5ae2d26c219cdd2458b3cac4"), "name" : "rose", "age" : 12 }
{ "_id" : ObjectId("5ae2d26d219cdd2458b3cac5"), "name" : "tom", "age" : 12, "tag" : "11岁以上", "r" : [ 5 ] }
> db.user.count({"age":12})
2
> db.user.distinct("age")
[ 14, 12 ]
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 202,905评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,140评论 2赞 379
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 149,791评论 0赞 335
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,483评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,476评论 5赞 364
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,516评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,905评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,560评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,778评论 1赞 296
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2赞 319
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,338评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,925评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2赞 342

推荐阅读更多精彩内容

  • MongoDB聚合
    MongoDB聚合操作用于对数据的批量操作，将集合按条件分组后在进行一系列操作，诸如求和、求均值等。聚合操作能对集...
    JunChow520阅读 3,911评论 0赞 0
  • MongoDB聚合总结
    本文是以下两篇引用的博客的从新整理修改而成 零、引用 MongoDB聚合 MongoDB聚合 一、Aggregat...
    ting723阅读 1,289评论 0赞 5
  • MongoDB聚合查询
    本文为转载，原文：MongoDB聚合查询 聚合查询 MongoDB除了基本的查询功能之外，还提供了强大的聚合功能。...
    ChainZhang阅读 7,596评论 0赞 17
  • 同样迷茫着的
    世上那么多男男女女，他们她们在高楼大厦，钢筋水泥之间，还是楼台水榭，青石板路，小桥流水，还是穷山恶水，山间小道，...
    走吧cqj阅读 232评论 0赞 0
  • “年轻女孩真的不怕苦”
    1 我在我的前前家公司工作的时候，面试过一个很有意思的女孩。 女孩子从济南跑到杭州，和男友异地生活。她在杭州，没有...
    少女陆sunny阅读 882评论 3赞 11