前置文章：
Redis-分布式缓存（一）：数据持久化、主从集群；
Redis-分布式缓存（二）：哨兵机制。
零、本文纲要
- 一、单机Redis的问题
- 二、Redis分片集群
1、Redis分片集群的优势
2、搭建Redis分片集群
3、散列插槽
4、集群伸缩
5、故障转移/数据迁移
6、RedisTemplate访问分片集群
tips：Ctrl + F快速定位所需内容阅读吧。
一、单机Redis的问题
1、数据丢失问题
实现Redis数据持久化；
2、并发能力问题
搭建主从集群，实现读写分离；
3、故障恢复问题
利用哨兵机制，实现健康检测和自动恢复；
4、存储能力问题
搭建分片集群，利用插槽机制实现动态扩容。
二、Redis分片集群
1、Redis分片集群的优势
- ① 自动分割数据到不同的节点上；
- ② 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
可以解决：
- ① 海量数据存储问题；
- ② 高并发写的问题。
2、搭建Redis分片集群
- ① 准备目录及配置文件
Ⅰ 新创建出7001、7002、7003、8001、8002、8003目录：
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003
Ⅱ 准备一个新的redis.conf文件(记得修改为自己本地的IP)：
port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.253.128
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log
Ⅲ 将文件放入每个目录：
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf
Ⅳ 修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf
- ② 启动各个实例
Ⅰ 直接启动服务：
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf
Ⅱ 查看实例状态：
ps： （英文全拼：process status）命令用于显示当前进程的状态，语法ps [options] [--help]；
查找指定进程：ps -ef | grep 进程关键字；
ps -ef | grep redis
Ⅲ 关闭所有进程：
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown
- ③ 创建分片集群
Ⅰ redis-cli --cluster或者./redis-trib.rb：代表集群操作命令；
Ⅱ create：代表是创建集群；
Ⅲ --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master
redis-cli --cluster create --cluster-replicas 1 192.168.253.128:7001 192.168.253.128:7002 192.168.253.128:7003 192.168.253.128:8001 192.168.253.128:8002 192.168.253.128:8003
查看分片集群状态：
redis-cli -p 7001 cluster nodes
- ④ 测试
Ⅰ 以单节点形式连接客户端，命令redis-cli -p 7001：
[root@localhost tmp]# redis-cli -p 7001
127.0.0.1:7001> set num 123
OK
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
(error) MOVED 15495 192.168.253.128:7003
Ⅱ 以分片集群形式连接客户端，命令redis-cli -c -p 7001：
[root@localhost tmp]# redis-cli -c -p 7001
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK
3、散列插槽
- ① 散列插槽分布
Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上：
slots:[0-5460] (5461 slots)
slots:[5461-10922] (5462 slots)
slots:[10923-16383] (5461 slots)
M: 063cb797912b1a8f6c86f8994defcc850b1b2144 192.168.253.128:7001
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 3fdc9e0fc5599b10b1886f8fa8046faa6e14d8ee 192.168.253.128:7002
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
M: 7b8f5aa31d510f3127c89907084196fb01fc02c4 192.168.253.128:7003
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
- ② 插槽规则
数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：
Ⅰ key中包含"{}"，且“{}”中至少包含1个字符，“{}”中的部分是有效部分；
Ⅱ key中不包含“{}”，整个key都是有效部分。
192.168.253.128:7001> set {num}a 789
OK
192.168.253.128:7001> set num 456
OK
192.168.253.128:7001> set a 123
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK
192.168.253.128:7003> set {a}num 456
OK
可以看到{num}a和num被插入同一个插槽，a和{a}num又被插到另一个相同插槽。
4、集群伸缩
- ① 查看集群操作命令
redis-cli --cluster help
- ② 增删节点操作
add-node new_host:new_port existing_host:existing_port
--cluster-slave
--cluster-master-id <arg>
del-node host:port node_id
# 创建7004目录
mkdir 7004
# 拷贝配置文件
cp redis.conf 7004
# 修改配置文件
sed -i s/6379/7004/g 7004/redis.conf
# 启动7004
redis-server 7004/redis.conf
# 查看redis状态
ps -ef | grep redis
# 添加7004到集群
redis-cli --cluster add-node 192.168.253.128:7004 192.168.253.128:7001
# 查看集群状态
redis-cli -p 7001 cluster nodes
- ③ 分配插槽
reshard host:port
--cluster-from <arg>
--cluster-to <arg>
--cluster-slots <arg>
--cluster-yes
--cluster-timeout <arg>
--cluster-pipeline <arg>
--cluster-replace
- ④ 测试
Ⅰ 添加7004节点，并且分配3000个槽位：
# 连接至集群中的7001节点
redis-cli --cluster reshard 192.168.253.128:7001
# 分配3000个槽位
3000
# 接受槽位的7004节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7001节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes
Ⅱ 删除7004节点：
移除7004节点上的槽位，将数据拷贝至7001节点：
# 连接至集群中的7004节点
redis-cli --cluster reshard 192.168.253.128:7004
# 分配3000个槽位
3000
# 接受槽位的7001节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7004节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes
从分片集群中移除7004节点：
[root@localhost tmp]# redis-cli --cluster del-node 192.168.253.128:7004 3b86fb982c1a04142735a9923818e7716897ad81
>>> Removing node 3b86fb982c1a04142735a9923818e7716897ad81 from cluster 192.168.253.128:7004
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.
5、故障转移/数据迁移
- ① 自动故障转移
- ② 手动数据迁移
利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。
指令：CLUSTER FAILOVER [FORCE|TAKEOVER]
Ⅰ 缺省：默认的流程，如图1~6歩；
Ⅱ FORCE：省略了对offset的一致性校验，如图2~3步；
Ⅲ TAKEOVER：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见。
6、RedisTemplate访问分片集群
- ① 修改原有配置
spring:
redis:
cluster:
nodes:
- 192.168.253.128:7001
- 192.168.253.128:7002
- 192.168.253.128:7003
- 192.168.253.128:8001
- 192.168.253.128:8002
- 192.168.253.128:8003
# sentinel:
# master: mymaster
# nodes:
# - 192.168.253.128:27001
# - 192.168.253.128:27002
# - 192.168.253.128:27003
- ② 测试
写：8001master节点
读：7002slave节点
三、结尾
以上即为Redis分布式缓存的全部内容了，感谢阅读。
