PHP面试之分库分表

[TOC]

真题

简述MySQL分表操作和分区操作的工作原理,分别说说分区和分表的使用场景和各自的优缺点。

分区表的原理

工作原理

对用户而言,分区表是一个独立的逻辑表,但是底层 MYSQL将其分成了多个物理子表,这对用户来说是透明的,每一个分区表都会使用一个独立的表文件。

创建表时使用 partition by子句定义每个分区存放的数据,执行查询时,优化器会根据分区定义过滤那些没有我们需要数据的分区,这样查询只需要查询所需数据在的分区。

分区的主要目的是将数据按照一个较粗的粒度分在不同的表中,这样可以将相关的数据存放在一起,而且如果想一次性删除整个分区的数据也很方便。

使用场景

  • 表非常大,无法全部存在内存,或者只在表的最后有热点数据其他都是历史数据
  • 分区表的数据更易维护,可以对独立的分区进行独立的操作
  • 分区表的数据可以分布在不同的机器上,从而高效使用资源
  • 可以使用分区表来避免某些特殊的瓶颈
  • 备份和恢复独立的分区

限制

  • 一个表最多只能有1024个分区
  • MySQL 5.1 版本中,分区表表达式必须是整数,5.5可以使用列分区
  • 分区字段中如果有主键和唯一索引列,那么主键列和唯一索引列都必须包含进来;
  • 分区表中无法使用外键约束
  • 需要对现有表的结构进行修改
  • 所有分区都必须使用相同的存储引擎
  • 分区函数中可以使用的函数和表达式会有一些限制
  • 某些存储引擎不支持分区
  • 对于MyISAM的分区表,不能使用load index into cache
  • 对于MyISAM表,使用分区表时需要打开更多的文件描述符

分库分表的原理

工作原理

通过一些hash算法或工具实现将一张数据表垂直或者水平进行物理分割。

使用场景

  • 单条记录条数达到百万到千万级别
  • 解决表锁的问题

分表方式

水平分割

表很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度


水平分割

使用场景

  • 表中的数据本身就有独立性,例如表中分别记录各个地区的数据或者不同时期的数据,特别是有些数据常用,有些不常用
  • 需要把数据存放在多个介质上

水平分表缺点

  • 给应用增加复杂度,通常查询时需要多个表名,查询所有数据都需 UNION操作
  • 在许多数据库应用中,这种复杂性会超过它带来的优点,查询时会增加读一个索引层的磁盘次数

垂直分割

把主键和一些列放在一个表,然后把主键和另外的列放在另一张表中。


垂直分割

使用场景

  • 如果一个表中某些列常用,而另外一些列不常用
  • 可以使数据行变小,一个数据页能存储更多数据,查询时减少I/O次数

垂直分表缺点

  • 管理冗余列,查询所有数据需要join操作

分表的缺点

  • 有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性较差
  • 对于应用层来说,逻辑算法无疑增加开发成本

延伸:MySQL的主从复制原理及负载均衡

MySQL的主从复制原理

  • 主库上把数据库上把更改记录到二进制日志
  • 从库主库的日志复制到自己的中继日志
  • 从库读取中继日志中的事件,将其重放在从库数据库中

主从复制解决的问题

  • 数据分布:随意停止或开始复制,并在不同地理位置分布数据备份
  • 负载均衡:降低单个服务器的压力
  • 高可用和故障切换:帮助应用程序避免单点失败
  • 升级测试:可以使用更高版本的 MYSQL作为从库
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容