有点长，直接看结语好了
集群功能
第二篇笔记只实现 Redis 协议单机转发，这次要实现完整集群功能，涉及以下几点：
1. 代码逻辑模块划分: Server，集群拓扑，后端连接池，Session管理
2. Pipeline 实现，对每一个请求封装 Sequence，严格保证应答顺序(实现有些投机，后文再说)
3. 对后端返回的 ErrorResp 做解析，特殊处理 MOVED 和 ASK 请求并异步更新集群拓扑
4. 性能，永远的话题，通过 Pprof 一步一步去调
模块划分
Server 层：该层用来解析生成全局配置，初始化其它模块，开启监听端口，接收外部访问请求。其中 Filter 用来对接收的 Redis 协议数据进行过滤，检测是否危险禁止或不支持的命令，并粗略检测命令参数个数，以接口形式实现。
type Proxy struct {
l net.Listener // 监听 Listener
filter Filter // Redis 有效协议检测过滤器
pc *ProxyConfig // 全局配置文件
sm *SessMana // Session 管理
cluster *Cluster // 集群实现
}
type Filter interface {
Inspect(Resp) (string, error)
}
集群拓扑：随机挑选 Redis 节点，根据 Cluster Nodes 输出信息生成逻辑拓扑结构。默认每10min 定期 Reload 拓扑信息，每当 reloadChan 接收到数据时，强制 Reload。
e32929a56d00a28934669d8e473f68c5de84abce 10.10.200.11:6479 myself,master - 0 0 0 connected 0-5461
type Topology struct {
conf *ProxyConfig // 全局配置
rw sync.RWMutex // 读写锁
slots []*Slot // Cluster Slot 逻辑拓扑结构
reloadChan chan int // Reload 消息 channel
}
拓扑最重要功能，根据给定 Key 返回对应后端 Redis 节点信息。Key 解析出 hash tag 按照 crc16 算法生成并对16384取余，Session 拿到 Node ID 后从连接池获取连接。
Session 管理：每个客户端连接封装成一个 Session，Server 层维护着 Session 管理工作，关闭超时的连接，默认 30s
type SessMana struct {
l sync.Mutex // Session 锁
pool map[string]*Session // Session Map
idle time.Duration // 超时时长
}
SessMana 实现简单，三个方法：添加，删除以及定期检查 Idle 连接
func (sm *SessMana) Put(remote string, s *Session) {
}
func (sm *SessMana) Del(remote string, s *Session) {
}
func (sm *SessMana) CheckIdleLoop() {
}
连接池：最开始想自已写，发现有很多细节想不到，就直接使用 Golang Redis Driver 的连接池
type pool interface {
First() Conn
Get() (Conn, error)
Put(Conn) error
Remove(Conn) error
Len() int
FreeLen() int
Close() error
}
上面是连接池 interface ，看似简单，具体代码请看 pool.go，有几点细节需要仔细思考：
1. 为了实现通用的连接池，调用方需要传入自定义 Dialer 以及定义 Conn 接口方便扩展。
2. 流控的问题，比如说在正常超时时间内，打开连接数不能超过一定次数。这里采用 ratelimit 实现。想起以前在赶集，蔡导提过抢狗食的问题。
3. 连接池维护的连接有效性，用 LastUsed 超时，还是使用 Ping 来处理是个问题。内网总是假设稳定，所以 LastUsed 问题不大。
4. 如果使用 LastUsed 超时检测，那么连接池内部检测间隔，一定要短于后端 Redis Idle Timeout 超时时间。
Pipeline
对于不支持 Pipeline 的流程: client -> proxy -> redis - > proxy -> client . 所以有两层可以支持 Pipeline，第一层从 client -> proxy，这层很简单，开启 Channel 接收请求，Proxy 去阻塞式处理请求，然后返回到 client 。
第二层 proxy -> redis - > proxy 不好实现，对于 Redis Cluster 集群，命令分发到后端不同实例。由于网络问题，Redis 服务问题，MOVED跳转造成的先发后至，结果集乱序肯定发生，并且是常态。所以简单直观的解决办法，对每一个请求封装，增加64位的 Seq, 这个序号是 Session 级别的。
type wrappedResp struct {
seq int64 // Session 级别的自增64位ID
resp Resp // Redis 协议结果
}
第二层开启 goroutine，每当 Proxy 收到响应，都会检查 Seq 是否与发送端的序号一致。会出现三种情况：
1. Seq 与发送端序号相等：这是最理想的情况，在 Session 层直接 WriteProtocol 写到 Client
2. Seq 大于发送端序号: 说明发生了乱序，将该 Seq 结果暂缓存起来，但是不能无限缓存，如果序号相隔过多，或是等待时间过长，那么生成一个 ErrorResp 返回客户端。当前只判断序号，没有采用超时来解决。
3. Seq 小于发送端序号: 接收的 Seq 小，说明已经被跳过了。直接忽略，并记日志 debug。
MOVED与ASK
后端 Client -> Proxy，检测是否为 ErrorResp，不是走正常逻辑即可。否则进一步判断，错误代码前辍是否为 MOVED或ASK，再执行 Redirect 逻辑执行请求。如果为 MOVED，那么要异步刷新拓扑结构。
性能优化
import _ "net/http/pprof"
go func() {
log.Warning(http.ListenAndServe(":6061", nil))
}()
go tool pprof -pdf ./archer http://localhost:6061/debug/pprof/profile -output=/tmp/report.pdf
或是进入内部执行命令查看
go tool pprof ./archer http://localhost:6061/debug/pprof/profile
Int 转 []byte
在Pprof 图中看到 util.Itob 调用效率比较低，这个函数将 Int 转换成 []byte，用于 Resp.Encoding 时生成长度，第一版实现如下:
func Itob(i int) []byte {
return []byte(strconv.Itoa(i))
}
第二版 Iu32tob
func Iu32tob(i int) []byte {
return strconv.AppendUint(nil, uint64(i), 10)
}
第三版本 Iu32tob2
func Iu32tob2(i int) []byte {
buf := make([]byte, 10) // 大量小对象的创建是个问题，同样需要对象池
idx := len(buf) - 1
for i >= 10 {
buf[idx] = byte('0' + i%10)
i = i / 10
idx--
}
buf[idx] = byte('0' + i)
return buf[idx:]
}
做 Benchmark 结果如下，将 Itob 替换成第三版本的 Iu32tob2
localhost:util dzr$ go test -v -bench=".*"
testing: warning: no tests to run
PASS
Benchmark_Itob-4 10000000 116 ns/op
Benchmark_Iu32tob-4 20000000 98.4 ns/op
Benchmark_Iu32tob2-4 20000000 80.2 ns/op
ok github.com/dongzerun/archer/util 5.101s
再次开启 Pprof 查看 ReadProtocol 和 WriteProtocol 的 syscall 量最大，并且 Resp.Encode() 会有大量的 bytes.Buffer 对象产生，应该将做成对象池。那么 Resp 的Encode 方法要改：
Resp.Encode() []byte
变成
Resp.Encode(w *bufio.Writer) error
压测数据
单机本机原生单台 Redis
PING_INLINE: 139664.81 requests per second
PING_BULK: 144092.22 requests per second
SET: 146412.89 requests per second
GET: 145921.48 requests per second
INCR: 142166.62 requests per second
LPUSH: 144634.08 requests per second
LPOP: 141302.81 requests per second
SADD: 139567.34 requests per second
SPOP: 142714.42 requests per second
LPUSH (needed to benchmark LRANGE): 144655.00 requests per second
LRANGE_100 (first 100 elements): 65355.21 requests per second
LRANGE_300 (first 300 elements): 26616.98 requests per second
LRANGE_500 (first 450 elements): 18669.26 requests per second
LRANGE_600 (first 600 elements): 14510.21 requests per second
MSET (10 keys): 121995.86 requests per second
单机 Proxy 后端 Redis Cluster 3个 Master节点，未使用对象池
PING_INLINE: 100361.30 requests per second
PING_BULK: 96918.01 requests per second
SET: 92131.93 requests per second
GET: 90612.54 requests per second
INCR: 91852.66 requests per second
LPUSH: 84645.34 requests per second
LPOP: 87092.84 requests per second
SADD: 88300.22 requests per second
SPOP: 90851.27 requests per second
LPUSH (needed to benchmark LRANGE): 88448.61 requests per second
LRANGE_100 (first 100 elements): 25277.42 requests per second
LRANGE_300 (first 300 elements): 10484.71 requests per second
LRANGE_500 (first 450 elements): 7604.97 requests per second
LRANGE_600 (first 600 elements): 5883.36 requests per second
MSET (10 keys): 17710.71 requests per second
单机 Proxy 后端 Redis Cluster 3个 Master节点，sync.Pool开启bytes.Buffer对象池
PING_INLINE: 109829.77 requests per second
PING_BULK: 102743.25 requests per second
SET: 91290.85 requests per second
GET: 92790.20 requests per second
INCR: 93466.68 requests per second
LPUSH: 90604.34 requests per second
LPOP: 90277.16 requests per second
SADD: 85682.46 requests per second
SPOP: 91432.75 requests per second
LPUSH (needed to benchmark LRANGE): 89726.33 requests per second
LRANGE_100 (first 100 elements): 25667.35 requests per second
LRANGE_300 (first 300 elements): 10589.07 requests per second
LRANGE_500 (first 450 elements): 7683.91 requests per second
LRANGE_600 (first 600 elements): 5826.89 requests per second
MSET (10 keys): 17955.90 requests per second
相比未使用对象池是好一些。。。
结语
性能数据一般，不稳定，压过几次 Crash。再找找 Pprof 还有哪些可以优化的，很多 SysCall Runtime 不是很懂，再巩固下 Go 基础。代码格式也不够美观^_^
最近听了十六岁少年，越阳的故事。十六岁花季，凋落的有些无耐。庆幸他的词都被谱成了歌曲，最喜欢赵雷填曲的《让我偷偷看你》，期待明天他会唱这首歌...
