DRDS应用开发指南

最近根据多个应用使用阿里云 DRDS 产品状况,做了一个入门攻略。因为文档较多,全部看完需要时间,所以挑选了一些重要的点供各位参考。

一切的开始,需要了解这玩意到底是干什么的,推荐看下产品概述产品基本原理

确认这个产品能够解决你的核心问题,接下来一个很重要的点是怎么用好这个产品,数据库产品我个人认为都是有坑的,只是坑大坑小,以及能否从坑里面爬出来的问题。

无论怎么样,简单上手下看看,快速入门系列文档 是比较合适的。

当你按步骤连上 DRDS 后,做了一些操作之后,你可能并不清楚到底发生了什么,如果这个时候马上去按照你的理解上业务表测试,可能就埋了坑,DRDS 这个产品的表结构设计和单机数据库有一个很重要的区别在于:怎么拆表。所以这个时候我推荐大家看下如何选择拆分键这个文档以及 DRDS 快速入门 这个视频,这个时间我认为花得是值得的。不过这里补充下,类似 MySQL 也存在聚簇索引怎么选择的问题,只是 MySQL 有二级索引支持,这个问题相对不严重,而类似分布式数据库,如果不支持全局二级索引,只能通过跨分片并行查询缓解,并发很可能就上不去了,如果支持了全局二级索引,并且能够用分布式事务保证,则会好很多,期待这个产品未来能够支持,这个时候拆分字段设计也不是特别重要的问题了。

接下来是一个初始化测试环境,进行数据导入或者造数据的过程,你对资源一定很关心,怎么配比 DRDS 和 RDS, 按照个人经验,DRDS 可以从最低配规格开始,因为我理解这个产品本身没有状态,升配如同应用扩机器一样会比较方便,RDS 的话测试环境 1 或者 2 个都行,生产可以参考如何选择分片数这个文档,但是有一点文档中没有提,需要考虑数据容量的问题,单节点 RDS 数据存储很大,后续在做备份、做只读实例、做容灾恢复,时间是以天来计的,所以如果程序能够改成水平拆分的,单个 RDS 数据量不超过 1TB 为好。举个非常简单的例子,你有 10T 数据,使用 10-15个 RDS 解决问题,而不是 5-6 个。

另外为了避免后续生产上的麻烦,建议选择 8c16g(包含)以上的 RDS 节点,用一堆屌丝实例堆出来的分布式数据库,稳定性远不如规格比较大的实例。

当你把环境规划好,在做功能开发的过程中,建议能够看下这个产品的大部分文档,并且推荐看下 DRDS 常见问题专用贴这个帖子,乍一看吓一跳,但是能够把坑告诉你的产品是不多的,并且了解这些内容,对团队开发遇到问题的解决速度会有帮助,另外这些问题,有些已经 fix 掉。

功能开发完毕,很多应用可能会直接上线,不过在此建议补充下性能测试,特别是核心场景。目前市面上提供的分布式数据库,即使功能兼容性再好,不做性能测试,也是不让人放心的,很可能发布失败,因为有些物理原理上的问题跨不过去(按照目前大部分产品的架构和硬件而言),所以这个时候你会导入一些数据到 DRDS 中,可以参考数据导入这个文档。

实际生产使用之前,你应该还会非常关心监控告警问题 ,前期 DRDS 监控并不丰富,且实时性不高,后来做了一次改造,好了不少,具体参见 DRDS 实例监控 ,配合近期上线的、万能的重启功能,终于圆满了,对于线上问题,不能重启很可能会放大影响,靠工单并不靠谱。

另外一个有意思的现象是, DRDS 提供了秒级统计的指令让业务自己能够有所发挥,参见这个指令的说明统计信息查询类语句,我为此还写过一篇文章使用Grafana快速搭建 DRDS 秒级监控,总体来说是有效的,里面包括ERROR_PER_SECOND, FULLGCCOUNT,CPU都是值得关注的指标,ERROR_PER_SECOND有数值的话,你的应用是不正常的(排除 VIOLATION_PER_SECOND ),FULLGCCOUNT 不断在增张的话(几秒钟变化一次),那很可能 SQL 出了问题,CPU 一直处于80%以上时,一个可能是存在大量数据导入导出或者数据处理,另外一个可能是应用流量过大等等,后续我专门写一篇文章对这些指标进行一下解析,这个指令是非常不错的。

当应用进行过性能测试或者真正上线功能之后,你会发现 DRDS 适用的场景可能覆盖不了你的所有场景,从云栖大会来看,这个产品比较适合前台落数据的业务 ,后台业务可能会碰到一些问题,不过我最近也观察到,这个产品上线了只读实例体系,特别是分析型只读实例,对于跨分片的大查询非常有利,从文档描述来看,是使用了类 Spark 方式直接对在线数据进行计算,具体文档可以参见 DRDS 只读实例介绍 ,不过建议后续主实例或者并发型只读实例上可以上线类似单机并行计算( SMP ),放弃一定并发度,加快面向 OLTP 类查询的速度,这样面对企业级应用场景的时候,会更加得心应手些。

当然大数据产品在某些情况下必不可少,这里推荐数据集成这个工具,详情参见文档数据集成介绍

云上的数据传输服务 DTS 产品同样支持了 DRDS 产品,当然如果你不想付钱,想自己折腾下,也可以使用 github 上 alibaba/canal 产品。对于数据导入导出,以及同步,个人认为都做得不够好,什么时候能够出一个通杀的产品呢?值得期待。

整体使用指南就介绍到这里,如果对 DRDS 产品你有一次比较成功的使用,我相信还是会比较爽的,至少个人认为如此。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容