关于双向认证的一些概念可以在这篇文章中获取https://www.jianshu.com/p/e1aaa5e9de17
创建Secret
在K8S中，密钥的管理是通过创建Secret方式进行的，我们生成一对公私钥，并且公钥已经通过CA签发一张证书之后，就可以导入到K8S的Secret了。通常，我们会有下面三个文件：
ca.pem #证书信任链，自签名证书通常需要完整的信任链
cert.pem #应用层证书，由CA签发
key.pem #私钥
NGINX Ingress Controller文档中提供了两种方式的公私钥导入
- You can create a secret containing just the CA certificate and another Secret containing the Server Certificate which is Signed by the CA.
这是第一种导入方式，其实跟我们在Nginx中配置证书并无太大差异，单独导入ca.pem作为一个secret，然后打包cert.pem和key.pem作为一个secret，命令如下：
kubectl create secret generic tls-trust --from-file=ca.crt=ca.pem -n YOUR_NAME_SPACE
kubectl create secret generic tls-cert--from-file=tls.crt=cert.pem --from-file=tls.key=key.pem -n YOUR_NAME_SPACE
- You can create a secret containing CA certificate along with the Server Certificate, that can be used for both TLS and Client Auth.
第二种方式则是将证书，证书链和私钥全部打包在一块，参考命令如下，
kubectl create secret generic tls-secret --from-file=tls.crt=cert.pem --from-file=tls.key=key.pem --from-file=ca.crt=ca.pem -n YOUR_NAME_SPACE
创建完毕之后我们看一下我们创建好的Secret：
[root@iZbp1g905y8l5pclnbxvfxZ ~]# kubectl -n YOUR_NAME_SPACE get secret
NAME TYPE DATA AGE
tls-cert Opaque 2 24h
tls-trust Opaque 1 24h
配置Ingress
创建完Secret之后就可以配置Ingress了。根据官方的样例，我们调整参数，如下：
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
annotations:
# 是否开启客户端证书验证
nginx.ingress.kubernetes.io/auth-tls-verify-client: "on"
# 信任链
nginx.ingress.kubernetes.io/auth-tls-secret: "YOUR_NAME_SPACE/tls-trust"
# 信任链校验层数
nginx.ingress.kubernetes.io/auth-tls-verify-depth: "1"
# 证书校验失败跳转
nginx.ingress.kubernetes.io/auth-tls-error-page: "http://www.mysite.com/error-cert.html"
# 是否传递证书给后端服务
nginx.ingress.kubernetes.io/auth-tls-pass-certificate-to-upstream: "true"
name: nginx-test
namespace: default
spec:
rules:
- host: mydomain.com
http:
paths:
- backend:
serviceName: http-svc
servicePort: 80
path: /
tls:
- hosts:
- mydomain.com
secretName: tls-cert
配置完之后我们可以进入nginx-ingress-controller容器，在nginx.conf文件下看到这样三个配置，ingress自动帮我们配置好了nginx：
www-data@nginx-ingress-controller-674bf86cc9-dctxw:/etc/nginx$ cat nginx.conf | grep tsp
ssl_certificate /etc/ingress-controller/ssl/YOUR_NAME_SPACE-tls-cert.pem;
ssl_certificate_key /etc/ingress-controller/ssl/YOUR_NAME_SPACE-tls-cert.pem;
ssl_client_certificate /etc/ingress-controller/ssl/ca-YOUR_NAME_SPACE-tls-trust.pem;
这样子直接就可以使用HTTPs访问了，Ingress会校验证书的合法性。
排坑
我们使用的是自签名证书给客户端签发客户端证书，在客户端带上证书访问的时候，出现了400 Bad Certificate错误，如果确认应用层证书配置和信任链配置无误的情况下，可以检查下这个配置
# 信任链校验层数
nginx.ingress.kubernetes.io/auth-tls-verify-depth: "1"
我们使用的自签名证书链有4层，然后我将nginx.ingress.kubernetes.io/auth-tls-verify-depth校验链层数改为4，问题解决了。
nginx.ingress.kubernetes.io/auth-tls-verify-depth: "4"
