redis-migrate-tool使用详解

前言

redis-migrate-tool 是维品会开源的一款redis数据迁移工具，基于redis复制，快速，稳定，github地址为：https://github.com/vipshop/redis-migrate-tool 。

  • 快速。
  • 多线程。
  • 基于redis复制。
  • 实时迁移。
  • 迁移过程中，源集群不影响对外提供服务。
  • 异构迁移。
  • 支持Twemproxy集群，redis cluster集群，rdb文件 和 aof文件。
  • 过滤功能。
  • 当目标集群是Twemproxy，数据会跳过Twemproxy直接导入到后端的redis。
  • 迁移状态显示。
  • 完善的数据抽样校验(-C redis_check)。

划重点 实时迁移 迁移过程中，源集群不影响对外提供服务

安装redis-migrate-tool

依赖

$ yum -y install automake libtool autoconf bzip2 git

构建

$ cd redis-migrate-tool
$ autoreconf -fvi
$ ./configure
$ make
$ src/redis-migrate-tool -h

警告

在运行工具之前，确保源redis所在的机器有足够的内存可以允许至少一个redis生成.rdb文件，如果源机器有大量足够的内存允许所有的redis生成.rdb，可以在配置文件rmt.conf设置source_safe: false。

下列命令不支持传播给target redis组，因为这些命令下的keys可能交叉了不同的目标redis节点。

RENAME,RENAMENX,RPOPLPUSH,BRPOPLPUSH,FLUSHALL,FLUSHDB,BITOP,MOVE,GEORADIUS,GEORADIUSBYMEMBER,EVAL,EVALSHA,SCRIPT,PFMERGE

redis-migrate-tool 命令详解

出现下列帮助说明表示安装成功

This is redis-migrate-tool-0.1.0

Usage: redis-migrate-tool [-?hVdIn] [-v verbosity level] [-o output file]
                  [-c conf file] [-C command]
                  [-f source address] [-t target address]
                  [-p pid file] [-m mbuf size] [-r target role]
                  [-T thread number] [-b buffer size]

Options:
  -h, --help             : this help
  -V, --version          : show version and exit
  -d, --daemonize        : run as a daemon
  -I, --information      : print some useful information
  -n, --noreply          : don't receive the target redis reply
  -v, --verbosity=N      : set logging level (default: 5, min: 0, max: 11)
  -o, --output=S         : set logging file (default: stderr)
  -c, --conf-file=S      : set configuration file (default: rmt.conf)
  -p, --pid-file=S       : set pid file (default: off)
  -m, --mbuf-size=N      : set mbuf size (default: 512)
  -C, --command=S        : set command to execute (default: redis_migrate)
  -r, --source-role=S    : set the source role (default: single, you can input: single, twemproxy or redis_cluster)
  -R, --target-role=S    : set the target role (default: single, you can input: single, twemproxy or redis_cluster)
  -T, --thread=N         : set how many threads to run the job(default: 4)
  -b, --buffer=S         : set buffer size to run the job (default: 140720309534720 byte, unit:G/M/K)
  -f, --from=S           : set source redis address (default: 127.0.0.1:6379)
  -t, --to=S             : set target redis group address (default: 127.0.0.1:6380)
  -s, --step=N           : set step (default: 1)

Commands:
    redis_migrate        : Migrate data from source group to target group.
    redis_check          : Compare data between source group and target group. Default compare 1000 keys. You can set a key count behind.
    redis_testinsert     : Just for test! Insert some string, list, set, zset and hash keys into the source redis group. Default 1000 keys. You can set key type and key count behind.

部分指令解析：

  • -h, --help：帮助
  • -V, --version：显示版本
  • -d, --daemonize：后台进程运行
  • -I, --information：打印一些有用的信息，包括可以解析的指令（126个），不支持的指令（14个）等等
  • -v, --verbosity=N：设置日志等级。(默认: 5, 最低: 0, 最高: 11)
  • -o, --output=S：设置输出的日志文件
  • -c, --conf-file=S：设置配置文件。(默认: rmt.conf)
  • -C, --command=S：设置运行的指令(默认: redis_migrate ，迁移)。redis_check 比较源和目的，默认1000个样本key。redis_testinsert测试插入Keys，默认所有类型总共1000个。
  • -T, --thread=N：设置多少个线程用来运行工具。(默认: 4)

1. 运行迁移

$ src/redis-migrate-tool -c rmt.conf -o log -d

注意：-d指定为后台运行，如果再次运行可能需要杀死占用当前端口的进程。netstat -tnulp查看找到redis-migrate-tool的端口号，kill -9 [端口号]杀死再运行。

指定输出日志文件为log，可通过tail -200 log等查看日志。

2. 抽样检查

$ src/redis-migrate-tool -c rmt.conf -o log -C redis_check
Check job is running...

Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000

All keys checked OK!
Check job finished, used 1.041s

抽样检查源组和目标组的数据，默认为1000个。如果需要检查更多的数据，

$ src/redis-migrate-tool -c rmt.conf -o log -C "redis_check 200000"
Check job is running...

Checked keys: 200000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 200000

All keys checked OK!
Check job finished, used 11.962s

3. 测试插入一些数据

$ src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert"
Test insert job is running...

Insert string keys: 200
Insert list keys  : 200
Insert set keys   : 200
Insert zset keys  : 200
Insert hash keys  : 200
Insert total keys : 1000

Correct inserted keys: 1000
Test insert job finished, used 0.525s

默认插入的数据为string、list、set、zset、hash各200个（均分），总共1000个。如果需要插入更多的键，

$ src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert 30000"
Test insert job is running...

Insert string keys: 6000
Insert list keys  : 6000
Insert set keys   : 6000
Insert zset keys  : 6000
Insert hash keys  : 6000
Insert total keys : 30000

Correct inserted keys: 30000
Test insert job finished, used 15.486s

如果只想插入string类型的键（1000个），

$ src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert string"

如果想指定插入的几种类型，并且指定总数，

$src/redis-migrate-tool -c rmt.conf -o log -C "redis_testinsert string|set|list 10000"
Test insert job is running...

Insert string keys: 3336
Insert list keys  : 3336
Insert set keys   : 3328
Insert zset keys  : 0
Insert hash keys  : 0
Insert total keys : 10000

Correct inserted keys: 10000
Test insert job finished, used 5.539s

插入校验生成的数据并不会清除，测试时可以尽量减少插入的key。

rmt.conf配置文件

配置文件包含三部分：[source], [target] 和 [common]

迁移工具的来源（source）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件，aof文件。
迁移工具的目标（target）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件。

[source]/[target]：

  • type：
    • single：单独的redis实例
    • twemproxy：twemproxy集群
    • redis cluster：redis集群
    • rdb file：.rdb文件
    • aof file：.aof文件
  • servers：redis地址组，如果type:twemproxy，则为twemproxy配置文件，如果type:rdb file，则为rdb文件名。
  • redis_auth：连接redis服务的认证auth。
  • timeout：读写redis服务的超时时间(ms)，默认为120000ms
  • hash：哈希方法名。仅当type:twemproxy有效。可以为one_at_a_time、md5、crc16、crc32、crc32a、fnv1_64、fnv1a_64、fnv1_32、fnv1a_32、hsieh、murmur、jenkins。
  • hash_tag：用来哈希的关键key的两个字符，例如"{}" 或 "$$"。仅当type:twemproxy有效。只要标签内的关键key是相同的，能够将不同的键映射到同一服务器。
  • distribution：键的分布模式。仅当type:twemproxy有效。可以为 ketama、modula、random。

[common]：

  • listen：监听的地址和端口。默认为127.0.0.1:8888
  • max_clients：可监听端口的最大连接数。默认为100
  • threads：工具可用的最多线程数。默认为cpu内核数。
  • step：解析请求的步数。默认为1，数字越大，迁移越快，需要越多的内存。
  • mbuf_size：请求的缓存大小（M），默认为512M
  • noreply：是否检查目标组的回复，默认为false
  • source_safe：是否保护源组机器的内存安全。默认为true，工具将允许在源组的同一台机器同时只有一个redis生成.rdb。
  • dir：工作目录。用来存储文件，例如rdb文件，默认为当前目录。
  • filter：过滤不符合表达式的Key，默认为NULL，支持通配符为glob-style风格
    • ? ：1个任意字符。例如 h?llo 匹配 hello, hallo , hxllo
    • * ：0个或多个任意字符。例如 h*llo 匹配 hllo ， heeeello
    • [characters]：匹配任意一个方括号内的字符，比如[abc]，要么匹配a，要么匹配b，要么匹配c。例如 h[ae]llo 匹配 hello ， hallo, 但不匹配 hillo。
    • [^character]：排除方括号内的字符。例如h[^e]llo 匹配 hallo, hbllo, ... 但不匹配 hello。
    • [character-character]：表示2个字符范围内的都可以匹配，如[a-z]，[0-9]。例如h[a-b]llo 匹配 hallo 和 hbllo。
    • \用来转移特殊字符。

配置文件示例：
（1）从单一实例迁移数据到twemproxy集群（single to twemproxy）：

[source]
type: single
servers:
 - 127.0.0.1:6379
 - 127.0.0.1:6380
 - 127.0.0.1:6381
 - 127.0.0.1:6382

[target]
type: twemproxy
hash: fnv1a_64
hash_tag: "{}"
distribution: ketama
servers:
 - 127.0.0.1:6380:1 server1
 - 127.0.0.1:6381:1 server2
 - 127.0.0.1:6382:1 server3
 - 127.0.0.1:6383:1 server4

[common]
listen: 0.0.0.0:8888
threads: 2
step: 1
mbuf_size: 1024
source_safe: true

（2）从twemproxy集群迁移数据到redis集群（twemproxy to redis cluster）

[source]
type: twemproxy
hash: fnv1a_64
hash_tag: "{}"
distribution: ketama
servers:
 - 127.0.0.1:6379
 - 127.0.0.1:6380
 - 127.0.0.1:6381
 - 127.0.0.1:6382

[target]
type: redis cluster
servers:
 - 127.0.0.1:7379

[common]
listen: 0.0.0.0:8888
step: 1
mbuf_size: 512

（3）从一个redis集群迁移数据到另一个集群（redis cluster to another redis cluster），配置filter为以"abc"开始的键

[source]
type: redis cluster
servers:
 - 127.0.0.1:8379

[target]
type: redis cluster
servers:
 - 127.0.0.1:7379

[common]
listen: 0.0.0.0:8888
filter: abc*

（4）从.rdb文件导入数据到redis集群（rdb file to redis cluster）

[source]
type: rdb file
servers:
 - /data/redis/dump1.rdb
 - /data/redis/dump2.rdb

[target]
type: redis cluster
servers:
 - 127.0.0.1:7379

[common]
listen: 0.0.0.0:8888
step: 2
mbuf_size: 512
source_safe: false

（5）保存redis集群的数据到.rdb（redis cluster to rdb file）

[source]
type: redis cluster
servers:
 - 127.0.0.1:7379

[target]
type: rdb file

[common]
listen: 0.0.0.0:8888
source_safe: true

（6）从.aof文件导入数据到redis集群（aof file to redis cluster）

[source]
type: aof file
servers:
 - /data/redis/appendonly1.aof
 - /data/redis/appendonly2.aof

[target]
type: redis cluster
servers:
 - 127.0.0.1:7379

[common]
listen: 0.0.0.0:8888
step: 2

（7）从redis集群迁移数据到单一实例（redis cluster to single）

[source]
type: redis cluster
servers:
 - 127.0.0.1:8379

[target]
type: single
servers:
 - 127.0.0.1:6379

[common]
listen: 0.0.0.0:8888

（8）从单一实例迁移数据到redis集群（single to redis cluster）

[source]
type: single
servers:
 - 127.0.0.1:6379

[target]
type: redis cluster
servers:
 - 127.0.0.1:7379

[common]
listen: 0.0.0.0:8888

监听redis-migrate-tool

可以使用redis-cli连接工具，监听地址和端口设置在配置文件的[common]下的listen，默认为127.0.0.1:8888

1. info指令

$redis-cli -h 127.0.0.1 -p 8888
127.0.0.1:8888> info
# Server
version:0.1.0                                   # 工具的版本号
os:Linux 2.6.32-573.12.1.el6.x86_64 x86_64      # 操作系统信息
multiplexing_api:epoll                          # 多路复用接口
gcc_version:4.4.7                               # gcc版本
process_id:9199                                 # 工具的进程id
tcp_port:8888                                   # 工具监听的tcp端口号
uptime_in_seconds:1662                          # 工具运行的时间（秒）
uptime_in_days:0                                # 工具运行的时间（天）
config_file:/ect/rmt.conf                       # 工具运行的配置文件名称

# Clients
connected_clients:1                             # 当前连接的客户端数
max_clients_limit:100                           # 客户端同时连接最大限制
total_connections_received:3                    # 至今总共连接

# Memory
mem_allocator:jemalloc-4.0.4

# Group
source_nodes_count:32                          # 源redis组的节点数
target_nodes_count:48                          # 目的redis组的节点数

# Stats
all_rdb_received:1                             # 是否已接收源redis组节点的所有.rdb文件
all_rdb_parsed:1                               # 是否已解析源redis组节点的所有.rdb文件
all_aof_loaded:0                               # 是否已加载源redis组节点的所有.aof文件
rdb_received_count:32                          # 已接收的源redis组节点.rdb文件数
rdb_parsed_count:32                            # 已解析的源redis组节点.rdb文件数
aof_loaded_count:0                             # 已加载的源redis组节点.aof文件数
total_msgs_recv:7753587                        # 从源组节点接收的所有消息数
total_msgs_sent:7753587                        # 所有已发送目标节点并且收到的响应的消息数
total_net_input_bytes:234636318                # 从源组接收的输入字节的总数
total_net_output_bytes:255384129               # 已发送到目标组的输出字节的总数
total_net_input_bytes_human:223.77M            # 同total_net_input_bytes，而是转换成人类可读的。
total_net_output_bytes_human:243.55M           # 同total_net_output_bytes，而是转换成人类可读的。
total_mbufs_inqueue:0                          # 来自源组的mbufs输入缓存的命令数据(不包括rdb数据)
total_msgs_outqueue:0                          # 将被发送到目标组，和已被发送到目标，但正在等待响应的消息数
127.0.0.1:8888>

2. shutdown [seconds|asap]

执行指令后的行为：

  • 停止从源redis复制
  • 尝试将工具中的缓存数据发送到目标redis
  • Redis-migrate-tool 停止，退出

参数：

  • seconds：工具用于在退出之前将缓存的数据发送到目标redis的大多数时间。默认为10秒。
  • asap：不关心缓存的数据，立即退出。

例如，

$ redis-cli -h 127.0.0.1 -p 8888
127.0.0.1:8888> shutdown 5
OK
(5.00s)

总结

  • 不适用redis4.0.x及以上版本（高版本迁移小编会尽快出~）
  • 当源中存在多库时，避免发生键值覆盖，最好换别的方式迁移
  • 多源要不都不带密码，要不源是同一个密码，否则无法启动，在线变更密码可以通过config set requirepass [密码]

原文链接

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,921评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,635评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,393评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,836评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,833评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,685评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,043评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,694评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,671评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1赞 332
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,424评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,027评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2赞 351
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2赞 343