分库分表后,测试小姐姐都哭了

欢迎关注笔者的公众号:【阿飞的博客】,首发都在这里!!!

什么?你们的测试是小哥哥?那就不要往下看了,让他怎么难怎么来。

建议

根据你的业务特点,单表 > 分区 > 单库分表 > 分库分表,在满足业务前提下,优先级从左到右,不接受任何反驳。嘿嘿

背景

做过分表的(单库分表或者分库分表)都知道,在你没有依赖任何中间件之前,使用Navicat或者其他类似工具操作MySQL,那将是灾难,如下图所示:


sharding table view

如果是类似取模这类简单算法分表还好说,能一眼根据分片键知道分表结,比如根据用户ID对128取模分表,那么用户ID为128的用户数据就在表tb_user_0中。但是如果是采用类似一致性hash算法或者更复杂的分表算法,那么我们首先需要利用程序根据分片键算出分表结果,然后再到Navicat中对该表进行CRUD。开发尚且如此困难,测试小姐姐估计要崩溃了哈。哪里有困难,哪里就有机会。所以,这就是你和测试小姐姐拉近机会、表现自己的时候。

本文要介绍的,能解决这个问题的工具就是sharding-proxy(MyCAT也有类似工具,只是易用性简直就是渣渣),看看部署sharding-proxy后使用Navicat访问MySQL的效果图,开不开森,激不激动:


image.png

所以,sharding-proxy能带来什么呢?先说优点吧:

  1. 完全屏蔽sharding细节,把它当做一张普通的表增删改查即可(分表算法集成在sharding-proxy的配置文件中,用户不需要care)
  2. 打开数据库后,不再是看到满屏的表,而是只有几张简单的表(如上图左侧所示)。
  3. 一个sharding-proxy可以代理多个数据源,测试只需要对接一个sharding-proxy即可。

再说缺点:

  1. 无法操作"设计表",即不能看到DDL。但是可以通过F6快捷键后show create table table_name查看表结果(以Navicat为例);
  2. sharding-sphere不支持的语法(非常有限),也不能在Navicate上操作。

是不是感觉很厉害的样子,OK,让我们花10分钟给测试小姐姐一个惊喜吧(部署sharding-proxy)。

sharding-proxy

部署sharding-proxy非常简单,只需如下几个简单的步骤。另外,本次部署以sharding-proxy-3.0.0版本为例。

下载

下载地址:https://github.com/sharding-sphere/sharding-sphere-doc/raw/master/dist/sharding-proxy-3.0.0.tar.gz

下载后解压,我们看到只有简单的三个目录:lib目录就是sharding-proxy核心代码,以及依赖的JAR包;bin目录就是存放启停脚本的;conf目录就是存放所有配置文件,包括sharding-proxy服务的配置文件、数据源以及sharding规则配置文件和项目日志配置文件。

lib目录没什么好说的,就是sharding-proxy项目以及依赖的jar包。bin目录里面就是window或者Linux环境启停脚本。sharding-proxy启动的默认端口是3307,如果要自定义端口(以3308),执行sh start.sh 3308即可(window环境修改start.bat即可)。所有重要的配置都在conf目录下。

配置

  • logback.xml

首先就是最简单的日志配置文件logback.xml,笔者对其简单的修改了一下,你可以任意自定义,这个没什么好说的,非常简单。

  • server.xml

接下来就是与sharding-proxy服务相关的配置文件server.yaml,笔者的配置文件如下所示:

orchestration:
  name: orchestration_afei
  overwrite: true
  registry:
    # zk地址,建议集群
    serverLists: 127.0.0.1:2181
    namespace: orchestration_afei

# 用户通过Navicat访问sharding-proxy的用户名密码
authentication:
  username: afei
  password: afei

# sharding-proxy相关配置,建议sql.show设置为true,方便定位问题
props:
  max.connections.size.per.query: 1
  acceptor.size: 16 
  executor.size: 16 
  proxy.transaction.enabled: false
  proxy.opentracing.enabled: false
  sql.show: true
  • config.xml

接下来就是最重要的数据源以及sharding规则配置文件config-.xml了。需要说明的是,一个sharding-proxy实例能支持多个数据源*。

配置参考

schemaName: afei

dataSources:
  afei:
    url: jdbc:mysql://172.0.0.1:3306/afei?serverTimezone=UTC&useSSL=false
    username: afei
    password: afei
    autoCommit: true
    connectionTimeout: 10000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50

shardingRule:
  tables:
    # tb_afei的分表算法是根据trade_id对128取模
    tb_afei:
      actualDataNodes: afeidb.tb_afei_${0..127}
      tableStrategy:
        inline:
          shardingColumn: trade_id
          algorithmExpression: tb_afei_${trade_id % 128}    
    # afei_fenbiao的分表算法是在AfeiFenbiaoShardingAlgorithm中自定义     
    afei_fenbiao:
      actualDataNodes: afeidb.afei_fenbiao_${1..127}
      tableStrategy:
        standard:
          shardingColumn: id
          preciseAlgorithmClassName: com.afei.sjdbc.proxy.AfeiFenbiaoShardingAlgorithm
  bindingTables:
    
  # 默认数据库没有分的策略
  defaultDatabaseStrategy:
    none:
  # 默认表没有分的策略
  defaultTableStrategy:
    none:
  defaultKeyGeneratorClassName: io.shardingsphere.core.keygen.DefaultKeyGenerator

对应自定义分表算法,只需要将对应算法编译后的class文件放到conf目录下即可,参考目录结构:

com
  ├── afei/sjdbc/proxy/AfeiFenbiaoShardingAlgorithm.class
config-pay.yaml
config-account.yaml
logback.xml
server.yaml

其源码只需要参考io.shardingsphere.core.routing.strategy.ShardingAlgorithm.java的实现类即可,例如PreciseOrderShardingAlgorithm.java。

  • Navicat

接下来只需要让测试小姐姐用Navicat连接上sharding-proxy即可,至于分库分表这些细节本来就应该对用户是屏蔽的,是不是测试小姐姐会感觉你棒棒哒:


Navicat connect sharding proxy
我的微信公众号
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345