【实战演练】Linux操作系统20-MyCat实现Mysql数据库读写分离与自动切换

本文欢迎转载,转载请注明出处和作者。

理论部分,详见《【理论研究】业务系统高可用及负载均衡》。

本篇主要实现“8、Mysql读写分离”,需要在上一篇主主复制建立完成的基础上。

1、安装JDK7

解压jdk7(自行下载,并且上传)

tar -zxvf jdk-7u80-linux-x64.tar.gz
mkdir /usr/java
mv jdk1.7.0_80/ /usr/java/jdk17

由于centos一般安装完会自带java,所以直接修改环境变量还是没有办法更新版本,因此需要进行多版本选择。

alternatives --install /usr/bin/java java /usr/java/jdk17/bin/java 3

将java7加入系统,如果复制粘贴不行,请先复制进文本文档再尝试

alternatives --config java

选择主用java,然后输入3,按回车。

修改环境变量,编辑环境变量文件

vi /etc/profile

在文本内容的最后面,添加如下内容:

export JAVA_7_HOME=/usr/java/jdk17 
export JAVA_HOME=$JAVA_7_HOME 
export JRE_HOME=$JAVA_HOME/jre 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按wq保存退出。

source /etc/profile

重新加载环境变量

java -version
javac -version

分别测试,如果两个都显示现在版本是java1.7.0_80,则证明安装成功。如果其中1个,例如javac -version显示出错,那就证明未安装好。

2、安装Mycat

实际生产中,应该考虑采用单独的1台机器,安装MyCat,然后配置读写分离将访问数据库的流量分发到Mysql01、02。WEB服务器的配置文件指向MyCat服务器。

但是MyCat服务器会单点故障,所以可以配置2台MyCat,然后再配置Keepalived做高可用/负载均衡,将WEB服务器的配置文件指向MyCat的高可用/负载均衡集群VIP。

实际生产的Mysql可能不止2台,为了后面可以横向扩容Mysql服务器增加读的性能,所以可能会有多台数据库服务器,而如果Mycat安装在了其中2台数据库服务器上,一旦这2台数据库服务器崩溃,整个数据库集群就崩溃,是不妥当的,所以应该单独部署服务器来安装MyCat。

实验中,为了节省机器,直接将MyCat部署在2台Mysql数据库服务器中,并且之前对2台Mysql服务器已经通过keepalived做过高可用VIP设置,通过VIP对外提供Mycat的访问。

按照之前的grant授权,只有dqzqcw这个库可以远程登录,可以在mysql01、或者mysql02上面远程登录数据库进行测试VIP是否可以正常登录。

mysql -u dqzqcw -h 10.1.30.30 -p

下载Mycat(http://www.mycat.io/),并且上传到服务器。

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/

增加环境变量

cat >>/etc/profile<<EOF
export MYCAT_HOME=/usr/local/mycat
export PATH=$PATH:$MYCAT_HOME/bin
EOF

重新加载环境变量

source /etc/profile

3、修改MyCat配置

在Mycat/conf/下面有3个文件需要配置,server.xml,schema.xml,rule.xml。

3.1修改Server.xml

cd /usr/local/mycat/conf

修改配置文件,主要配置server.xml与schema.xml,里面有大量注释,会影响判断,可以去除。

vi server.xml

这个配置文件,主要是用于修改Mycat的用户名密码的,最下面的

注意,默认root密码为123456,必须要改到和实际数据库的root密码一致,否则老是访问不成功,排错排了很久。)*

 <user name="root">
                <property name="password">1qaz!QAZ</property>
                <property name="schemas">TESTDB</property>

                <!-- 表级 DML 权限设置 -->
                <!--
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>
                 -->
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
        </user>

此处的数据库名,是用于WEB服务器访问Mycat的数据库名,而不是后端实际数据库的数据库名,可以任意修改。

3.2修改Schema.xml配置

3.2.1配置读写分离

备份原有配置

mv schema.xml schema.xml.bak

新建配置文件

vi schema.xml

内容如下

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
        </schema>

<dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />

    <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>show slave status</heartbeat>
        <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
             <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
             </readHost>
        </writeHost>
    </dataHost>

</mycat:schema>

*dataNode、dataHost那里上下文一致即可,不一定叫MysqlDataNode。Schema name的TESTDB要与server.xml里面的数据库名保持一致。database="dqzqcw"填写真实数据库的名称。

其中,balance指的负载均衡类型,目前的取值有4种:

1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。

2. balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。

3. balance="2",所有读操作都随机的在writeHost、readhost上分发。

4. balance="3",所有读请求随机的分发到wiriterHost对应的readhost执行,writerHost不负担读压力

switchType指的是切换的模式,目前的取值也有4种:

1. switchType='-1' 表示不自动切换

2. switchType='1' 默认值,表示自动切换

3. switchType='2' 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status

4. switchType='3'基于MySQL galary cluster的切换机制(适合集群)(1.4.1),心跳语句为 show status like 'wsrep%'。

配置完成后,/usr/local/mycat/bin/下面执行./mycat start可以开启。./mycat stop可以停止。

上述配置完成,仅有读写分离的功能。

3.2.2测试验证读写分离

编辑mycat/conf/下面的log4j2.xml文件,改日志模式为debug。

重启mycat服务,然后通过mycat地址链接数据库。

mysql -u root -h 10.1.30.30 -P 8066 -p,注意8066是mycat的默认服务端口,登陆后能看到Mycat标识。(注意10.1.30.30是VIP,如果无法访问请检查keepalived配置)

能够明显看到登录后提示Mycat字样,与普通登录有明显区别。

再开一个终端窗口,打开mycat日志。tail -f /usr/local/mycat/logs/mycat.log

然后在通过mycat访问数据库的终端窗口里面,进行show databases;use XXdatabase;

select * from XXX;之类的查询操作。

注意:当前配置下执行SQL,应该到use database就很卡,甚至show tables后会报错

ERROR 3009 (HY000): java.lang.IllegalArgumentException: Invalid DataSource:0

那是因为mycat配置的使用root账号连接数据库,但是之前root仅能localhost登录有权限对数据库进行操作,所以现在mycat远程登录mysql01、02没有权限执行命令,因此报错,解决方案是登录mysql01、02的数据库,并且将root设置为%任意终端登录。

mysql -u root -p
grant all on *.* to 'root'@'%' identified by '1qaz!QAZ';
flush privileges;

然后重新测试,运行show database;select XXX等SQL命令。

然后再执行创建表格

create table test (
 test_id int auto_increment,
 test_username varchar(20) not null,
 test_number varchar(10) not null,
 primary key (test_id)
);

插入数据

insert into test (test_id,test_username,test_number)
values
(1,'tommy','3');

然后exit退出,然后到一直生成日志的窗口退出日志,将日志复制下来到word,方便查看。

日志处,搜索attachment字段,会看到有很多attachment=null(证明该时间戳没有SQL命令),attachment={select * from xxx};attachment={insert into XXX}之类的标记。

可以看到所有的读操作都分配到了10.1.30.29,而insert等写操作都是分配到了30.28,证明读写分离配置生效。

4、故障自动切换

4.1修改mycat配置文件

上面的配置仅是做了读写分离,当写入节点故障(Mysql01),那么只能提供只读服务,系统将无法进行任何写入操作。

如果需要配置写入节点自动故障切换,需要修改mycat的schema.xml配置文件。

vi schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="MysqlDataNode">
        </schema>

<dataNode name="MysqlDataNode" dataHost="Mycat-node" database="dqzqcw" />

    <dataHost name="Mycat-node" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>show slave status</heartbeat>
        <writeHost host="Mysql-node1" url="10.1.30.28:3306" user="root" password="1qaz!QAZ">
             <readHost host="Mysql-node2" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
             </readHost>
        </writeHost>
        <writeHost host="Mysql-node1" url="10.1.30.29:3306" user="root" password="1qaz!QAZ">
        </writeHost>
    </dataHost>

</mycat:schema>

比读写分离多增加了备用机的wirteHost配置。

主从自动切换配置后,第一个writeHost故障后,会自动切换到第二个,第二个故障后自动切换到第三个;

如果当是1主3从模式,可以把第1个从节点配置为writeHost,第2个和第3个从节点则配置为writeHost和1的readHost;

(*注意:如果30.28与30.29只是配置了主从单向复制,然后mycat配置了读写分离+主从自动切换,那么30.28宕机后,mycat自动切换到30.29进行写入,但是当30.28恢复后,mycat会自动切换回30.28为主。由于28到29是单向主从复制,那么中间一段时间往29写入的数据,是不会反向同步到28的,那么28宕机到恢复中间的写入数据就会丢失。所以2台mysql服务器应该做主主复制,当29作为写入,28恢复后,可以将新写入29的数据回写到28.

4.2测试

登录10.1.30.28,然后手动停止mysql服务,service mysqld stop,然后通过mycat访问数据库,查看是否依然能够读写,如读写正常,表明切换生效。

mysql -u root -h 10.1.30.44 -P 8066 –p
insert into test (test_id,test_username,test_number)
values
(2,'candy','4');

4.3修改WEB服务器配置

修改Apache服务器连接数据库的配置文件

vi /var/www/html/config.php
$db_config['DB_HOST'] = '10.1.30.30:8066'; //数据库地址
$db_config['DB_USER'] = 'root'; //mysql帐号
$db_config['DB_PASS'] = '1qaz!QAZ'; //mysql密码
$db_config['DB_NAME'] = 'TESTDB'; //数据库名称

然后重新访问业务,业务正常显示,那么证明Apache通过Mycat访问数据库正常。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容