Docker多镜像仓库缓存代理方案

起因

不用我多说了
方案选择上有两个点：
从哪来
- 其实就是配置在OUTPUT 还是 PREROUTING的问题
- 最后因为容器网络的特殊性和方案简洁性，选择了OUTPUT，所有容器共用同一个网络namespace
怎么走：
- TCP可以走REDIRECT，但不能走TPROXY
- UDP可以走TUNNEL，也可以走TPROXY，但不能走REDIRECT
- 最后综合选择了TCP(REDIRECT) + UDP(TUNNEL)

镜像缓存功能由docker官网提供的registry镜像提供
官网registry镜像的使用和配置，在docker官方文档中都详细介绍
registry的配置文件就是一个yaml格式的文件，想要修改其配置有两种方式
1. 写好整个yaml然后挂载进容器
2. 通过环境变量配置单个配置项，如REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY配置如下代码块中的配置项
  - 可以看出规则是以REGITRY_开头，后面配置项的路径以_替换.，并写英文全部大写

storage:
  filesystem:
    rootdirectory: /var/lib/registry

有关镜像缓存代理的配置非常简单，只有三项：
- remoteurl: 想要代理的镜像仓库的地址，必填
- username password：连接本代理使用的用户名密码，可选
- 根据上面的配置项转换规则，只需要把目标仓库地址写在REGISTRY_PROXY_REMOTEURL环境变量即可

如何使用镜像缓存代理
- 本节指当镜像代理启动好后，内网其他主机如何使用本机提供的服务
- 因此本节配置都是写在其他使用本机服务的主机上
- docker官方仓库：
  - 内容："registry-mirrors": ["http://10.122.1.164"]
  - 路径：/etc/docker/daemon.json
- 其他仓库：
  - 内容："insecure-registries": ["k8s.gcr.io", "quay.io", "gcr.io"]
  - 路径：/etc/docker/daemon.json
  - 需要在集群DNS或本机hosts文件中把这三个域名指向缓存代理的IP地址
- 记得把IP替换成你的IP
- 修改配置后需要重启docker
- 最后daemon.json可以总结为{"mtu": 1350, "registry-mirrors": ["http://10.122.1.164"], "insecure-registries": ["k8s.gcr.io", "quay.io", "gcr.io"]}
如何迁移镜像的缓存
- 本文方案的所有registry的数据文件全部挂载在/var/lib/registry
- 因此无论是备份还是复制迁移，只需要操作/var/lib/registry，再启动新的compose，就可以使用之前缓存好的镜像文件了

docker-compose中的bridge类型network是可选的
- 之所以添加是因为我们底层网络的mtu不是1500，而是由于底层是overlay的网络而mtu减小的网络
- 因此必须在容器网络中配置mtu相应的减小，不然传输大文件时会丢数据包
- 底层网络是物理以太网络时就不是必须修改mtu，但配置的小一点也没有问题
- 如果要删除这个network的话，记得把容器连接网络的配置也删掉
一个有意思的事情是
- 去年的时候(2019)quay.io还不支持v2版本的manifest
- 所以其他三个仓库使用2.7版本的registry，而quay.io只能用2.3.0版本的
- 当时被quay.io着实恶心了一下，然而2.3.0版本是proxy功能与 manifest v1功能的交集版本
- 所以又因为自己灵机一动找到了这个版本作为解决方式很开心哈哈
- 不过都已经是过去时了，现在(2020)quay.io已经支持了manifest v2，只是在这里小小记录一下
再次感谢开源世界