安装文件
- minio：https://dl.min.io/server/minio/release/linux-amd64/minio
- mc：https://dl.min.io/client/mc/release/linux-amd64/mc
- kes：https://github.com/minio/kes/releases/latest/download/kes-linux-amd64
单机部署
- 用于客户测试环境
- 只有一个节点，不支持集群部署
- 如后期想扩展到集群，可以在minio集群搭建好后，手动创建相应bucket，并上传文件（或者有其他办法？）
下载文件
wget https://dl.min.io/server/minio/release/linux-amd64/minio
wget https://dl.min.io/client/mc/release/linux-amd64/mc
赋予执行权限
chmod u+x minio
chmod u+x mc
打开防火墙
firewall-cmd --permanent --zone=public --add-port=9000/tcp
firewall-cmd --reload
启动
export MINIO_ACCESS_KEY=my_minio_ak
export MINIO_SECRET_KEY=my_minio_sk
nohup ./minio server /data --address=0.0.0.0:9000 1>minio.log 2>&1 &
配置mc
./mc alias set my-minio http://0.0.0.0:9000 my_minio_ak my_minio_sk
集群部署
- 用于客户正式环境
- 支持bucket内数据加密
- 最少4个节点，或者4个minio进程
- 支持集群扩展
KES部署
参考：https://github.com/minio/kes/wiki/Getting-Started
生成私钥
openssl ecparam -genkey -name prime256v1 | openssl ec -out server.key
生成X.509证书
openssl req -new -x509 -days 3600 -key server.key -out server.crt \
-subj "/C=/ST=/L=/O=/CN=my-kes-server" -addext "subjectAltName = IP:KES_SERVER_IP"
- 默认证书有效期10年
- KES_SERVER_IP为my-kes-server这个域名对应的内网IP
- CentOS上openssl版本（1.0.xx）过低，可能会报错：unknown option -addext，可以使用ubuntu（openssl 版本1.1.1f）等系统生成证书
配置hosts
在所有节点的hosts文件中，添加：
KES_SERVER_IP my-kes-server
- KES_SERVER_IP为my-kes-server这个域名对应的内网IP
添加证书到系统受信任列表
将server.key和server.crt拷贝至所有节点，然后执行：
echo "#my minio CA `date '+%Y-%m-%d'`" >> /etc/pki/tls/certs/ca-bundle.crt
cat server.crt >> /etc/pki/tls/certs/ca-bundle.crt
启动KES
在第一个minio节点，执行（需开启防火墙7373端口）：
nohup ./kes server --addr=0.0.0.0:7373 --key=server.key --cert=server.crt \
--root=$(./kes tool identity of server.crt) --auth=off 1>kes.log 2>&1 &
创建secret key：
export KES_CLIENT_KEY=server.key
export KES_CLIENT_CERT=server.crt
./kes key create -k my-minio-key bGtscXdlbGthc3Bkb2lvcDEyMzgxMDI5Mzg5MWtqYWE=
- KES服务没有数据持久化，重启之后secret key会丢失，必须重新执行生成操作
- secret key必须指定最后的加密key字段（即 bGtscXdlbGthc3Bkb2lvcDEyMzgxMDI5Mzg5MWtqYWE=，该key由32位数字或字母做base64编码生成，64或128位是否可用未做测试），否则kes会生成新的加密key，导致之前加密的数据都无法解密
MinIO部署
打开防火墙
在所有节点，执行：
firewall-cmd --permanent --zone=public --add-port=9000/tcp
firewall-cmd --reload
启动minio
在所有节点，执行：
export MINIO_KMS_KES_ENDPOINT=https://my-kes-server:7373
export MINIO_KMS_KES_KEY_FILE=server.key
export MINIO_KMS_KES_CERT_FILE=server.crt
export MINIO_KMS_KES_KEY_NAME=my-minio-key
export MINIO_ACCESS_KEY=my_minio_ak
export MINIO_SECRET_KEY=my_minio_sk
nohup ./minio server http://YOUR_MINIO_NODE1/data http://YOUR_MINIO_NODE2/data \
http://YOUR_MINIO_NODE3/data http://YOUR_MINIO_NODE4/data --address=0.0.0.0:9000 1>minio.log 2>&1 &
其他操作
mc初始化
在mc节点上，执行：
./mc alias set hufu-minio http://YOUR_LOCAL_IP:9000 my_minio_ak my_minio_sk
加密bucket
在mc节点上，执行：
./mc encrypt set sse-s3 hufu-minio/YOUR_BUCKET
