让数据库不再成为业务发展瓶颈——分布式数据库架构设计

内容来源:2017年6月4日,袋鼠云首席数据库架构师宏翊在“企业互联网架构优化升级之路”进行《让数据库不再成为业务发展瓶颈——分布式数据库架构设计》演讲分享。IT 大咖说(ID:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。

阅读字数:1705 | 3分钟阅读

获取嘉宾演讲视频回放及PPT,请点击:http://t.cn/RkDNJ0l

摘要

企业如何实现高容量大并发数据库服务?公司业务高速发展,单实例数据库到达瓶颈的情况下,如何做好分布式设计,提供高并发高性能的数据库服务以支撑业务增长?

本次分享主要内容包括数据库分布式架构设计思路,拆分原理,改造难点,解决方案等,让数据库不再成为业务发展瓶颈。

为什么要做分布式?

高并发:分布式应用带来更大量的数据库请求。

高容量:业务增长,产生大量在线数据。

资源向上扩展存在天花板。

支撑业务高速发展,平滑扩容。

拆分原则:循序渐进

在业务初期,客户量比较少,可以把所有服务和数据都存在一个实例上,都能支持业务的发展。

发展之后的客户量、数据量和并发都上来了,这时数据库很容易出现瓶颈。我们建议大家首先进行服务化的改造,将不同的业务模块做垂直梳理,把不同服务的数据库相互隔离,中间的交互由业务上去实现。这样数据库就可以分布在不同的实例上,能够支持相对较高的并发和容量。

继续发展的话,实例依然是一个瓶颈,这时我们就要考虑做水平的拆分。把一个服务的数据分布到不同的实例上,以支持扩展、高并发、大容量的数据库服务。

拆分需要循序渐进,然后做服务的梳理,最后再做水平拆分。

水平拆分会引入一些复杂性,研发方面需要考虑的东西就比较多,所以需要谨慎地做拆分。数据库的拆分和业务架构紧密结合,有时在业务上的一个小改动完全可以把压力挡在数据库之外。

水平拆分的难点

水平拆分的一个服务数据会分布到不同的底层数据库上,所以会带来一些复杂性。

系统架构需要适应数据库的分布式,就需要做一些改造。面临的技术挑战就是应用需要处理复杂的分布式逻辑,比如分布式的事务、跨库查询。在稳定性方面也会有一些挑战,但不是最主要的。主要是分布式的局限性,分布式数据分布在不同的数据库上,它不支持跨库的join、分布式事务、以及全局sequence等。

解决方案:客户端实现数据路由

在客户端直接做一个配置,去实现路由的功能。它的好处就是不需要引入额外模块,整体架构不变;程序的把控力强,场景简单方便使用;对代码的侵入性强;配置管理复杂。

此方案不会引入额外的组建,架构上比较轻量,简单场景使用尚可,比如配置管理复杂等,不建议使用。

解决方案:数据库中间件

实现自动分库分表,对应用透明;使用门槛极低,应用改造量小;方便的动态水平扩容;针对分布式的各种定制功能,如异构索引、小表广播等;最重要的是,有了数据库中间件,应用看到还是单一的数据库。

中间件的使用最大限度的屏蔽了分布式数据库所引入的复杂性,极大降低了研发的门槛。


DRDS功能简介

分库分表是DRDS的核心功能,支持数据的多维度切分和路由访问;内建读写分离功能,可以灵活配置访问权重;自带全局唯一ID组件;查询引擎识别和下推复杂查询,兼容98% MySQL语法;弹性扩容组件实现自动化在线水平扩容。

DRDS物理框架

数据拆分,能够组合1K个MySQL;分布式SQL查询引擎与高度的SQL兼容性;数据存储的平滑扩容;处理性能的弹性伸缩;读写分离(应用透明);小表广播、跨库join、全局sequence。

主库和读库通过数据库的原生复制实现,数据是强一致的。DRDS会自动判断请求,然后做分发。事务性的操作全部路由到主库上去,读库则承担一些读的操作。

把join从DRDS层往下推,在MySQL层实现它的join,业务设计上要避免跨库join。

分布式SQL规范设计:最佳实践

查询尽可能带上分库条件。如果把一个表拆分到底层的十个库,查询的时候每次都带上一个拆分条件,DRDS能够很清楚地把请求路由到底层的库上。

Join的时候有几种解决方案。一种是两个表的分库键都相等去做join,这样就能限定在一个库上。还有一种是广播表,join的字段不一样,但是每个表都带上分库的条件,这样还是会限定在同一个库里面。

EasyDB:数据库自动化管理平台

资源:实时监控数据库和服务器空间的使用状态。

高可用:云上高可用架构设计,故障自动切换。

备份:定期的数据库全量,增量备份,可灵活配置。

监控:异常情况下自动捕获和告警,支持短信,邮件和微信通知。

性能:超过50个指标性能趋势和SQL采集,实时监控数据库的运行状态。

日志:数据库错误日志采集。

安全:数据库账号和操作的审计,基于服务器的安全设计。

我今天的分享就到这里,谢谢大家!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容