MongoDB性能优化 - MongoDB从入门到删库

创建索引

在查询条件的字段或者排序条件的字段上创建索引,可以显著提高执行读效率。但是对于写比读多的,就尽量不要添加索引,因为索引越多,写的操作就会越慢。

> db.testhint.insertMany([{"a":1,"b":2,"c":3},{"a":2,"b":3,"c":4}])
...
> db.testhint.ensureIndex({"a":1,"b":1})
...
> db.testhint.dropIndex({"a":1,"b":1})
{ "nIndexesWas" : 2, "ok" : 1 }
# 静默方式创建,其他读写操作仍然可以同步进行,不会产生阻塞。
> db.testhint.ensureIndex({"a":1,"b":1},{background:true})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 1,
    "numIndexesAfter" : 2,
    "ok" : 1
}
# 创建唯一索引
> db.testhint.ensureIndex({"c":1},{unique:true})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 2,
    "numIndexesAfter" : 3,
    "ok" : 1
}
> db.testhint.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test.testhint"
    },
    {
        "v" : 2,
        "key" : {
            "a" : 1,
            "b" : 1
        },
        "name" : "a_1_b_1",
        "ns" : "test.testhint",
        "background" : true
    },
    {
        "v" : 2,
        "unique" : true,
        "key" : {
            "c" : 1
        },
        "name" : "c_1",
        "ns" : "test.testhint"
    }
]

重建索引,在collection大量删除的时候,磁盘空间并不会自动回收,长期这样会产生大量的磁盘碎片,影响磁盘读取性能,所以数据索引需要周期性地重建。

> db.testhint.reIndex()
{
    "nIndexesWas" : 3,
    "nIndexes" : 3,
    "indexes" : [
        {
            "v" : 2,
            "key" : {
                "_id" : 1
            },
            "name" : "_id_",
            "ns" : "test.testhint"
        },
        {
            "v" : 2,
            "key" : {
                "a" : 1,
                "b" : 1
            },
            "name" : "a_1_b_1",
            "ns" : "test.testhint",
            "background" : true
        },
        {
            "v" : 2,
            "unique" : true,
            "key" : {
                "c" : 1
            },
            "name" : "c_1",
            "ns" : "test.testhint"
        }
    ],
    "ok" : 1
}
# 全库级别的空间回收,可以提高回收的效率
> db.repairDatabase()
{ "ok" : 1 }

限定返回结果条数

使用limit()函数可以限定返回结果集的记录条数,不仅可以减少数据库服务的资源消耗,还可以减少网络传输的数据量。

> db.starbucks.find().sort({"_id":-1}).limit(3)
{ "_id" : "9722", "name" : "31st and Sixth Avenue", "street" : "875 Sixth Ave", "city" : "New York", "location" : { "type" : "Point", "coordinates" : [ -73.989251, 40.748026 ] }, "_class" : "example.springdata.mongodb.repo.Store" }
{ "_id" : "9467", "name" : "43rd & Ninth", "street" : "593 Ninth Ave", "city" : "New York", "location" : { "type" : "Point", "coordinates" : [ -73.992514, 40.758934 ] }, "_class" : "example.springdata.mongodb.repo.Store" }
{ "_id" : "9439", "name" : "84th & Third Ave", "street" : "1488 Third Avenue #A", "city" : "New York", "location" : { "type" : "Point", "coordinates" : [ -73.955133, 40.777492 ] }, "_class" : "example.springdata.mongodb.repo.Store" }

只查询用到的字段

只查询使用到的字段,而不是查询所有字段。这样比查询所有字段的效率要高很多。

> db.starbucks.find({},{"name":1,"city":1}).sort({"_id":-1}).limit(3)
{ "_id" : "9722", "name" : "31st and Sixth Avenue", "city" : "New York" }
{ "_id" : "9467", "name" : "43rd & Ninth", "city" : "New York" }
{ "_id" : "9439", "name" : "84th & Third Ave", "city" : "New York" }

采用Capped Collection

capped集合比普通的集合读写效率要高。因为capped集合是高效率的集合类型。

> db.createCollection("cappedLogCollection",{capped:true,size:10000,max:3})
{ "ok" : 1 }
> db.cappedLogCollection.insert({"num":5})
WriteResult({ "nInserted" : 1 })
> db.cappedLogCollection.insert({"num":6})
WriteResult({ "nInserted" : 1 })
> db.cappedLogCollection.insert({"num":7})
WriteResult({ "nInserted" : 1 })
> db.cappedLogCollection.insert({"num":8})
WriteResult({ "nInserted" : 1 })
> db.cappedLogCollection.find()
{ "_id" : ObjectId("5c555e82ec962d89c701558a"), "num" : 6 }
{ "_id" : ObjectId("5c555e86ec962d89c701558b"), "num" : 7 }
{ "_id" : ObjectId("5c555e8aec962d89c701558c"), "num" : 8 }

capped集合的特点:

1、capped集合是一种固定大小的集合,使用之前必须先创建它,并且设置其大小。

  • size 是整个集合空间大小,单位为【KB】
  • max 是集合文档个数上线,单位是【个】

2、capped集合可以插入数据和修改数据,但是不能删除数据,只能使用drop()函数删除整合集合。
3、查询时,没有指定排序,会返回插入时的顺序数据。capped集合可以自动维护插入数据的顺序。
4、当插入的数据超过capped集合的限定大小,数据库会使用FIFO算法,用新数据覆盖最先插入的数据。

采用Server Side Code Execution命令集

Server Side Code Execution是由JavaScript编写,这个过程经过编译和优化后存储在system.js表中。类似存储过程,可以减少网络通信的开销,提高数据库的性能。但是,eval()已经被官方弃用。

> db.system.js.save({"_id":"echo","value":function(x){return x;}})
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
> db.eval("echo('test')")
WARNING: db.eval is deprecated
test

使用hint

MongoDB的查询优化器会自动优化查询,但是有些情况需要强制使用hint才可以提高工作效率,因为hint可以强制要求查询操作使用某个索引。

  • indexBounds:使用的索引
> db.testhint.insertMany([{"a":1,"b":2,"c":3},{"a":2,"b":3,"c":4}])
{
    "acknowledged" : true,
    "insertedIds" : [
        ObjectId("5c5572468e3fd7101d8d568a"),
        ObjectId("5c5572468e3fd7101d8d568b")
    ]
}
> db.testhint.ensureIndex({"a":1,"b":1})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 1,
    "numIndexesAfter" : 2,
    "ok" : 1
}
> db.testhint.find({a:1}).explain()
{
    "queryPlanner" : {
        ...
        },
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                ...
                "indexBounds" : {
                    "a" : [
                        "[1.0, 1.0]"
                    ],
                    "b" : [
                        "[MinKey, MaxKey]"
                    ]
                }
            }
        },
        "rejectedPlans" : [ ]
    },
    "serverInfo" : {
        ...
    },
    "ok" : 1
}
> db.testhint.find({a:1}).hint({"a":1,"b":1}).explain()
{
    "queryPlanner" : {
        ...
        },
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                ...
                "indexBounds" : {
                    "a" : [
                        "[1.0, 1.0]"
                    ],
                    "b" : [
                        "[MinKey, MaxKey]"
                    ]
                }
            }
        },
        "rejectedPlans" : [ ]
    },
    "serverInfo" : {
        ...
    },
    "ok" : 1
}

新版本MongoDB中,查询优化器已经经过优化,能达到更好的查询效果。是否走索引,可以先用explain()函数检查一下。

采用Profiler

采用Profiler功能会影响效率,使用system.profile来记录,而system.profile是一个Capped集合,所以,对性能影响并不严重。

# 临时开启,默认记录100ms
> db.getProfilingLevel()
0
> db.setProfilingLevel(1,100)
{ "was" : 1, "slowms" : 100, "sampleRate" : 1, "ok" : 1 }
# 查找执行时间大于5ms的profiler日志
> db.system.profile.find({millis:{$gt:5}})
# 查看最新产生的profiler记录
> db.system.profile.find().sort({$natural:-1}).limit(1)
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容