03_MyCat在MySQL主从复制基础上实现读写分离

环境

  • 主节点
    操作系统: CentOS-6.6-x86_64
    JDK 版本: jdk1.7.0_45
    MySQL 版本: mysql-5.6.26.tar.gz
    IP: 192.168.175.200
    主机名: huachao

  • 从节点
    操作系统: CentOS-6.6-x86_64
    JDK 版本: jdk1.7.0_45
    MySQL 版本: mysql-5.6.26.tar.gz
    IP: 192.168.175.201
    主机名: mini1

  • mycat节点
    操作系统: CentOS-6.6-x86_64
    MyCat 版本: Mycat-server-1.4-release-20151019230038-linux.tar.gz
    JDK 版本: jdk1.7.0_45
    IP: 192.168.175.202
    主机名: mini2

MyCat 介绍

  • MyCat 官网
    MyCat 的读写分离是基于后端 MySQL 集群的主从同步来实现的, 而 MyCat 提供语句的分发功能。 MyCat1.4 开始支持 MySQL 主从复制状态绑定的读写分离机制,让读更加安全可靠。

MyCat 的安装

  1. 设置 MyCat 的主机名和 IP 与主机名的映射
# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=mini2
# vi /etc/hosts
127.0.0.1 huachao
192.168.175.200 huachao
192.168.175.201 mini1
192.168.175.202 mini2
  1. 因为 MyCat 是用 Java 开发的,因此 MyCat 运行需要安装 JDK(准确来说是 JRE 就够了),并且需要 JDK1.7 或以上版本

  2. 创建 mycat 用户并设置密码(可选操作)

# useradd mycat
# passwd mycat
  1. 上传安装包 Mycat-server-1.4-release-20151019230038-linux.tar.gz 到 MyCat 服务器中的/home/mycat 目录,并解压并移动到 /usr/local/mycat 目录
$ tar -zxvf Mycat-server-1.4-release-20151019230038-linux.tar.gz
$ su root
Password:
# mv /home/mycat/mycat /usr/local/
# cd /usr/local/mycat/
# ll
  1. 设置 MyCat 的环境变量(可选操作)
# vi /etc/profile
## mycat env
export MYCAT_HOME=/usr/local/mycat
export PATH=$PATH:$MYCAT_HOME/bin
# source /etc/profile

配置 MyCat

  1. 在配置 MyCat 前,请确认 MySQL 的主从复制安装配置已完成并正常运行。 MySQL 主从数据的同步在 MySQL 中配置, MyCat 不负责数据同步的问题。
    补充:
      (1) MySQL 主从复制配置中,如果涉及到函数或存储过程的同步复制,需要在/etc/my.cnf 中的[mysqld]段中增加配置 log_bin_trust_function_creators=true 或在客户端中设置 set global log_bin_trust_function_creators = 1;
      (2) 如果要做读写分离下的主从切换, 那么从节点也有可能会变为写节点,因此从节点就不能设置为只读 read_only=1 。
      (3) Linux 版本的 MySQL,需要设置为 MySQL 大小写不敏感,否则可能会发生找不到表的问题。 可在/etc/my.cnf 的[mysqld]段中增加 lower_case_table_names=1

  2. 配置 MyCat 的 schema.xml
    schema.xml 是 MyCat 最重要的配置文件之一, 用于设置 MyCat 的逻辑库、表、数据节点、dataHost 等内容,

[mycat@edu-mycat-01 conf]$ cd /usr/local/mycat/conf/
[mycat@edu-mycat-01 conf]$ vi schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
    
    <!-- 定义MyCat的逻辑库 -->
    <!-- schema name="rc_schema1" checkSQLschema="false" sqlMaxLimit="100" dataNode="rc_dn1"></schema -->
    <!-- schema name="pay_schema1" checkSQLschema="false" sqlMaxLimit="100" dataNode="pay_dn1"></schema -->
    <schema name="rc_schema2" checkSQLschema="false" sqlMaxLimit="100" dataNode="rc_dn2"></schema>
    <schema name="pay_schema2" checkSQLschema="false" sqlMaxLimit="100" dataNode="pay_dn2"></schema>

    <!-- 定义MyCat的数据节点 -->
    <!-- dataNode name="rc_dn1" dataHost="dtHost1" database="roncoo" / -->
    <!-- dataNode name="pay_dn1" dataHost="dtHost1" database="edu_simple_pay" / -->
    <dataNode name="rc_dn2" dataHost="dtHost2" database="huachao" />
    <dataNode name="pay_dn2" dataHost="dtHost2" database="ron" />

    <!-- 注意:schema中的每一个dataHost中的host属性值必须唯一,否则会出现主从在所有dataHost中全部切换的现象。 -->
    <!-- 定义数据主机dtHost1,只连接到MySQL读写分离集群中的Master节点,不使用MyCat托管MySQL主从切换 -->
    <!--
    <dataHost name="dtHost1" maxCon="500" minCon="20" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.1.205:3306" user="root" password="www.roncoo.com" />
    </dataHost>
    -->

    <!-- 使用MyCat托管MySQL主从切换 -->
    <!-- 定义数据主机dtHost2,连接到MySQL读写分离集群,并配置了读写分离和主从切换 -->
    <dataHost name="dtHost2" maxCon="500" minCon="20" balance="1"
        writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
        <!-- 通过show slave status检测主从状态,当主宕机以后,发生切换,从变为主,原来的主变为从,这时候show slave 
            status就会发生错误,因为原来的主没有开启slave,不建议直接使用switch操作,而是在DB中做主从对调。 -->
        <heartbeat>show slave status</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM2" url="192.168.175.200:3306" user="root" password="huachao" />
        <writeHost host="hostS2" url="192.168.175.201:3306" user="root" password="huachao" />
    </dataHost>
    <!-- 参数balance决定了哪些MySQL服务器参与到读SQL的负载均衡中 -->
    <!-- balance="0",为不开启读写分离,所有读操作都发送到当前可用的writeHost上-->
    <!-- balance="1",全部的readHost与stand by writeHost参与select语句的负载均衡-->
    <!-- balance="2",所有读操作都随机的在writeHost、readHost上分发-->
    <!-- MyCat1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,
         则需要在MyCat里配置为两个writeHost并设置balance="1" -->
    <!-- writeType="0",所有写操作发送到配置的第一个writeHost,第一个挂了切到还生存的第二个writeHost-->
    <!-- writeType="1",仅仅对于galera for mysql集群这种多主多节点都能写入的集群起效,此时Mycat会随机选择一个writeHost并写入数据,
         对于非galera for mysql集群,请不要配置writeType=1,会导致数据库不一致的严重问题 -->

</mycat:schema>

MyCat1.4 开始支持 MySQL 主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:
MyCat 心跳检查语句配置为 show slave status , dataHost 上定义两个新属性: switchType="2"slaveThreshold="100",此时意味着开启 MySQL 主从复制状态绑定的读写分离与切换机制, MyCat 心跳机制通过检测 show slave status 中的"Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三 个 字 段 来 确 定 当 前 主 从 同 步 的 状 态 以 及Seconds_Behind_Master 主从复制时延,当 Seconds_Behind_Master 大于slaveThreshold时,读写分离筛选器会过滤掉此 Slave机器,防止读到很久之前的旧数据,而当主节点宕机后,切换逻辑会检查 Slave 上的 Seconds_Behind_Master 是否为 0,为 0 时则表示主从同步,可以安全切换,否则不会切换。

  1. 配置 server.xml
    server.xml 主要用于设置系统变量、 管理用户、设置用户权限等。
[wusc@edu-mycat-01 conf]$ vi server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
    <system>
    <property name="defaultSqlParser">druidparser</property>
    <property name="charset">utf8mb4</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!-- 
            <property name="mutiNodeLimitType">1</property> 0:开启小数量级(默认) ;1:开启亿级数据排序
            <property name="mutiNodePatchSize">100</property> 亿级数量排序批量
            <property name="processors">32</property> <property name="processorExecutor">32</property> 
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
    </system>

    <!-- 用户1,对应的MyCat逻辑库连接到的数据节点对应的主机为MySQL主从复制配置中的Master节点,
         没实现读写分离,读写都在该Master节点中进行  -->
    <!--
    <user name="user1">
        <property name="password">roncoo.1</property>
        <property name="schemas">rc_schema1,pay_schema1</property>
    </user>
    -->
                            
    <!-- 用户2,对应的MyCat逻辑库连接到的数据节点对应的主机为主从复制集群,并通过MyCat实现了读写分离 -->
    <user name="user2">
        <property name="password">huachao.2</property>
        <property name="schemas">rc_schema2,pay_schema2</property>
    </user>
                            
    <!-- 用户3,只读权限-->
    <user name="user3">
        <property name="password">huachao.3</property>
        <property name="schemas">rc_schema2,pay_schema2</property>
        <property name="readOnly">true</property>
    </user>

</mycat:server>
  1. 防火墙中打开 8066 和 9066 端口
    MyCat 的默认数据端口为 8066, mycat 通过这个端口接收数据库客户端的访问请求。管理端口为 9066, 用来接收 mycat 监控命令、查询 mycat 运行状况、重新加载配置文件等。
[root@edu-mycat-01 mycat]# vi /etc/sysconfig/iptables

增加:

## MyCat
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8066 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9066 -j ACCEPT

重启防火墙:

[root@edu-mycat-01 mycat]# service iptables restart
  1. 修改 log 日志级别为 debug,以便通过日志确认基于 MyCat 的 MySQL 数据库集群读写分离的数据操作状态(可以在正式上生产前改成 info 级别)
[mycat@edu-mycat-01 conf]$ vi /usr/local/mycat/conf/log4j.xml
image.png
  1. 启动 MyCat
[mycat@edu-mycat-01 bin]$ cd /usr/local/mycat/bin/

(1) 控制台启动, 这种启动方式在控制台关闭后, MyCat 服务也将关闭,适合调试使用:

[mycat@edu-mycat-01 bin]$ ./mycat console

(2) 可以采用以下后台启动的方式:

[mycat@edu-mycat-01 bin]$ ./mycat start
Starting Mycat-server...

(对应的, 重启: ./mycat restart , 关闭: ./mycat stop

MyCat 连接测试

(1) 如果本地 Windows 安装有 MySQL, 可以使用已有的 mysql 客户端远程操作 MyCat



(2) 如果为了方便,需要在 MyCat 主机上对 MyCat 进行操作(把 MyCat 当是本地 MySQL 来操作),可以在 MyCat 节点主机上安装 MySQL 客户端:

[mycat@edu-mycat-01 bin]$ su root
[root@edu-mycat-01 bin]# yum install mysql

使用安装好的 mysql 客户端登录 MyCat

[mycat@edu-mycat-01 bin]$ mysql -uuser2 -phuachao.2 -h192.168.175.202 -P8066
[root@edu-mycat-01 mycat]# vi /etc/my.cnf

增加:

[client]
default-character-set=utf8

保存后再查询,乱码问题解决, 如下:


(3) 使用第三方 MySQL 管理客户端连接 MyCat 测试( navicat 支持, MySQL-Front 兼容性不太好),以 navicat 为例:

读写分离测试

(1) 监听 MyCat 日志

[mycat@edu-mycat-01 ~]$ cd /usr/local/mycat/logs/
[mycat@edu-mycat-01 logs]$ tail -f mycat.log

(2) 读测试

$ mysql -uuser2 -phuachao.2 -h192.168.175.202 -P8066

多次执行 select * from edu_user 语句, MyCat 打印出来的日志信息显示读操作请求都是路由到 Slave 节点( 192.168.175.201)。

(2) 写测试

mysql> insert into edu_user (userName, pwd) values('吴水成', 'roncoo.com');

多次执行以上插入语句, 发现新增数据都是从 Master 节点( 192.168.175.200) 插进入的,并且 Slave 节点通过 Binlog 同步了 Master 节点中的数据。


综上,基于 MyCat 的读写分离集群配置成功。

参考文档

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342