继续mysql。mysql有一些分支:percona、MariaDB等,(关于MariaDB的来源的其实是Mysql创始人推出的。我们知道mysql经历了两次收购,创始人呢独立出来又创立了新的DB,Mysql是以他大女儿的名字命名的,MariaDB是以二女儿的名字取得。)当然相信这两者会随着时间的推移会越来越不同。
众而周知,Mysql两大主要存储引擎:MyISAM、InnoDB。在mysql5.0、5.1中主要以MyISAM为主,5.5--5.7则变为InnoDB为主。到了8.0时则完全脱离了MyISAM。存储结构方面:Oracle则是以块为基本单元(利用的是堆),而Mysql则是page(16K),一个page中包含索引和数据。
InnoDB有几个显著的性质:1.insert buffer;2.double write;3.自适应哈希;4.异步IO;5.刷新邻页。这里面着重提到double write。oracle中其实也有这部分,但是它自身内部已经优化好了,对开发人员来说是透明的。mysql的double write(缓冲缓存技术)用于防止系统断电,异常crash导致丢失数据。这个过程是异步的。会有2M的空间用于记录。说道double write,可能不得不提到以下两个log:redo-log,binlog。redolog是innoDB层,用于记录对数据进行的操作日志,binlog是server层。double write的中心词就是checksum(其实就是page的最后事务号)。如果出现了断电,或者写了一部分出现了异常,那么checksum是不一致的。这时redolog是无法恢复数据库的,因为其本身有一段记录是不完整的。这时我们就需要用double write构造出异常点,然后进行恢复。原理如下:当mysql将脏数据flush到data file的时候, 先使用memcopy 将脏数据复制到内存中的double write buffer ,之后通过double write buffer再分2次,每次写入1MB到共享表空间,然后马上调用fsync函数,同步到磁盘上,避免缓冲带来的问题,在这个过程中,double write是顺序写,开销并不大,在完成double write写入后,在将double write buffer写入各表空间文件,这时是离散写入。但是也有缺点:会降低一部分性能,但是不会低于50%(原因:1.顺序写磁盘,效率高;2.会自动合并空间刷新方式,每次刷新多个pages)。可参考:http://blog.itpub.net/22664653/viewspace-1140915
如何使用double write呢,可以查询一下参数show status like '%dbl%' ,比较刷新脏页。用第一个值除以第二个值,一般不超过32为正常,也就是说IO负载不高,像下图这是我自己本地的test配置,已经超过32了,因此会造成大量的IO负载。
Mysql也是使用LRU的方式,控制方式更加清晰,主要有两个参数:innodb_lru_scan_depth(控制LRU列表中可用页的数量)和innodb_max_dirty_pages_pact(刷脏页的频率,默认为75%,google为80%)。也可参考(https://yq.aliyun.com/articles/50627)
接着讨论关于数据表字段储存大小的问题。
我们一般创建表选的字符集有以下几个:latin1,gbk,utf8。它们分别占1,2,3个字节。因此我们如何判定表存储的临界值呢?使用varchar类型,如果指定gbk,表里含有一个字段,那么最多可指定多少字节呢?(32766)
这个临界值是怎么计算的呢?行最大长度65535(2个字节),则varchar列的最大长度算法就是(65535-2)/2=32766.分子上的2,取决于长度是否超过255,小于255则减一,大于则减2.分母上的2则是由编码的字节决定的,gbk是两个字节,所以除以2.
如何查看binlog
binlog会将有符号数和无符号数都按照无符号数转换。
sql的解析过程
虽然经常写sql,但是它是如何解析的呢?这个部分最容易忽略,也是最容易出错的地方。实例来看:create table test(id int not null,name varchar(20));用以下语句进行测试。
select1 id1 from1 test1 where1 id1='aa' group by1 id1 order by1 id1;大家可以试一试,首先回去检查文法,检查(select,from等关键字),然后校验表名,表的列名,接着分组,最后排序。(当然有些第三方的工具会将分组放在数据刷选的后面,有些则放在前面。)总体来说以下几个部分:1.检查文法。2.校验对象是否存在。3.将对象进行同义词转换。4.检查权限。5.生成执行计划。6.将游标产生的执行计划,sql文本装载。
怎样查看执行的性能问题
show session status like ‘%handler%’;
着重看下handler_read_rnd_next这个参数,比较运行sql执行前后的数值变化,从而定位耗性能点是在哪里。也可以打开跟踪:set optimizer_trace="enabled=on",进一步分析。