MongoDB开发系列-从数据集合的设计开始

MongoDb中集合概念就是关系型数据库中的表,本文讨论的内容主要集中在MongoDb数据库库设计集合时关键原则和常见的设计误区。


第一条准则

抛弃关系型数据库设计的范式约束,摒弃关联查询。先考虑内嵌形式,再考虑引用,视使用场景而定。内嵌形式,总体来说是对查询操作友好,对更新操作不友好。

MongoDb的设计原则建议多种对象以关联嵌套的方式组织在一个文档中,方便应用程序一次读取。

注意这里说的是建议,不是【必须】,因为有特定场景下,完全嵌套是不能满足存储需求的。

第二条准则

文档中不是每个字段都必须有值,也就是每行的字段可以不一致。控制字段尽量不插入null值和空值,这样可以节约内存存储,MongoDb中的稀疏索引类型专门为【不是每个文档都有的字段】而设计。

这种特性适合Iot数据采集类似的使用场景,每个文档的字段数目不等,按需插入。

注意这种情况下,切忌文档过宽。那如何避免这种情况,我的方法是预估最大字段数,以20个字段为节点,多于20则采用嵌套document的设计方式组织document。

第三条准则

时间可以直接定义为格式化的时间,便于识别和查询。不必特意存储时间戳,这样方便可视化的工具查询核对。

"create_time" : ISODate("2017-05-10T15:39:58.000+08:00"),

第四条准则

字段长度尽可能的短,不宜过长。也是考虑到内存优化。这样的话,也就是牺牲了数据库字段的语义性,实际开发中,很难评估是否应该真正彻底牺牲语义性,在跨系统的分布式开发模式下,对于同一业务语义字段在不同的业务系统中传递,如果字段长短不一致,来回变换,在开发中也是不小的成本,每次都需要对准文档,才能明确某一个字段的实际意义。

新概念

分桶设计原则

我们知道许多传感器数据都是时间序列数据。例如:风传感器,潮汐监测以及位置追踪等采集数据的无非这种类型: Timestamp,采集器名称/ID,采集值。对于时序类型的数据,我们可以采用一种叫做时间分桶的优化策略。

所谓分桶优化,就是与其对每一条数据创建一个文档,我们可以把某一个时间段内的测量数据聚合到一起放到一个文档内,利用MongoDB提供的内嵌式数组或子文档特性

时间序列数据

 时间序列简单的说就是各时间点上形成的数值序列,时间序列分析就是通过观察历史数据预测未来的值。

官方有一篇翻译文章,专门叙述 分桶设计模式

我们的基础数据集如下

{

  sensor_id: 12345,

  timestamp: ISODate("2019-01-31T10:00:00.000Z"),

  temperature: 40

}

{

  sensor_id: 12345,

  timestamp: ISODate("2019-01-31T10:01:00.000Z"),

  temperature: 40

}

{

  sensor_id: 12345,

  timestamp: ISODate("2019-01-31T10:02:00.000Z"),

  temperature: 41

}

改进后的文档集合如下

{

    sensor_id: 12345,

    start_date: ISODate("2019-01-31T10:00:00.000Z"),

    end_date: ISODate("2019-01-31T10:59:59.000Z"),

    measurements: [

      {

      timestamp: ISODate("2019-01-31T10:00:00.000Z"),

      temperature: 40

      },

      {

      timestamp: ISODate("2019-01-31T10:01:00.000Z"),

      temperature: 40

      },

      …

      {

      timestamp: ISODate("2019-01-31T10:42:00.000Z"),

      temperature: 42

      }

    ],

  transaction_count: 42,

  sum_temperature: 2413

}




我们在程序写入文档时,可以做一些简单的计算和整理,按时间分段,根据业务需要,将一个时间断内的大量文档合并,避免数据使用时的随机聚合和查询。这样的时间段,可以理解为桶。

使用场景描述

在处理时间序列数据时,知道2018年7月13日加利福尼亚州康宁市下午2:00至3:00的平均温度通常比知道下午2:03那一时刻的温度更有意义也更重要。通过用桶组织数据并进行预聚合,我们可以更轻松地提供这些信息。

官方有一篇关于Iot使用场景的推荐文章 https://www.mongodb.com/customers/bosch,可以作为参考。

以上是MongoDb数据库关于集合设计的几个原则,实际开发中需要兼顾业务需求,查询友好,更新友好等量化标准做最终的判断。总之,在关系型数据库中的范式约束和联合查询,在MongoDb中基本忽略了。

另外很重要的一点需要明确,MongoDb中的集合也是需要设计的,不是随意写入即可的。

参考资料

http://www.mongoing.com/mongodb-advanced-pattern-design

http://www.tuicool.com/articles/Uv6zYnv


文章中的观点有不严谨之处,欢迎评论沟通。

抱着不确定性思维,学习MongoDb数据库的基本态度:边学习,边实践,边参考,边改进,在问题中成长。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,378评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,356评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,702评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,259评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,263评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,036评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,349评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,979评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,469评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,938评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,059评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,703评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,257评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,262评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,501评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,792评论 2 345

推荐阅读更多精彩内容