一、Harbor简介
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，可以用来构建企业内部的Docker镜像仓库。它在Docker的开源项目 Distribution的基础上，添加了一些企业需要的功能特性，如镜像同步复制、漏洞扫描和权限管理等。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。
二、Harbor组件
Harbor在架构上主要由以下组件构成：
Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
Registry： 负责储存Docker镜像，并处理dockerpush/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token,Registry会通过公钥对token 进行解密验证。
Core services： 这是Harbor的核心功能，主要提供以下服务：
UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权
webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
token服务：负责根据用户权限给每个docker push/pull命令签发token.Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
Database：为coreservices提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
Job Services：提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。
Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。
这几个容器通过 Docker link 的形式连接在一起，这样，在容器之间可以通过容器名字互相访问。对终端用户而言，只需要暴露 proxy (即 Nginx)的服务端口。
三、工作原理
用户通过 docker login 命令向这Harbor 服务kube.com发起登录请求:docker login kube.com当用户输入所需信息并点击回车后，Docker 客户端会向地址“kube.com/v2/” 发出 HTTP GET 请求。Harbor 的各个容器会通过以下步骤处理：
3.1 Docker login
首先，这个请求会由监听 80 端口的 proxy 容器接收到。根据预先设置的匹配规则，容器中的 Nginx会将请求转发给后端的 registry 容器；
在 registry 容器一方，由于配置了基于 token 的认证，registry 会返回错误代码 401，提示 Docker客户端访问 token 服务绑定的 URL。在 Harbor 中，这个 URL 指向 Core Services；
Docker 客户端在接到这个错误代码后，会向token服务的URL发出请求，并根据HTTP协议的BasicAuthentication 规范，将用户名密码组合并编码，放在请求头部(header)；
类似地，这个请求通过 80 端口发到 proxy 容器后，Nginx 会根据规则把请求转发给 ui 容器，ui 容器监听 token 服务网址的处理程序接收到请求后，会将请求头解码，得到用户名、密码；
在得到用户名、密码后，ui 容器中的代码会查询数据库，将用户名、密码与 mysql 容器中的数据进行比对(注:ui 容器还支持 LDAP 的认证方式，在那种情况下 ui 会试图和外部 LDAP 服务进行通信并校验用户名/密码)。比对成功，ui 容器会返回表示成功的状态码， 并用密钥生成 token，放在响应体中返回给 Docker 客户端。
这个过程中组件间的交互过程如下图所示:
至此，一次 docker login 成功地完成了，Docker 客户端会把步骤(3)中编码后的用户名密码保存在本地的隐藏文件中~/.docker/config.json。
3.2 Docker Push
用户登录成功后用 docker push 命令向 Harbor 推送一个 Docker 镜像：docker push kube.com/library/hello-world
首先，docker 客户端会重复 login 的过程，首先发送请求到 registry,之后得到 token 服务的地址；
之后，Docker 客户端在访问ui容器上的token服务时会提供额外信息，指明它要申请一个对library/hello-world 进行 push 操作的 token；
token 服务在经过 Nginx 转发得到这个请求后，会访问数据库核实当前用户是否有权限对该 image进行 push。如果有权限，它会把 image 的信息以及 push 动作进行编码，并用私钥签名，生成 token返回给 Docker 客户端；
得到 token 之后 Docker 客户端会把 token 放在请求头部，向 registry 发出请求，试图开始推送image。 Registry 收到请求后会用公钥解码 token 并进行核对，一切成功后，image 的传输就开始了。
下图描述了这个过程中各组件的通信:
四、安装部署
4.1、harbor-ui管理后台
1、进入到GitHub下载官方harbor文件，下载链接地址为：https://github.com/vmware/harbor/releases，harbor分为在线和离线版本，我下载了1.10离线版本使用。
2、下载harbor-v1.10.1.tar.gz，解压缩后进入到harbor目录，根据实际情况修改配置文件harbor.yaml
hostname: kube.com
http:
port: 80
https:
port: 443
certificate: /etc/harbor/ssl/kube.com.cert#这里后面生成
private_key: /etc/harbor/ssl/kube.com.key
harbor_admin_password: password
database:
password: password
max_idle_conns: 50
max_open_conns: 100
data_volume: /data
clair:
updaters_interval: 12
jobservice:
max_job_workers: 10
notification:
webhook_job_max_retry: 10
chart:
absolute_url: disabled
log:
level: info
local:
rotate_count: 50
rotate_size: 200M
location: /var/log/harbor
_version: 1.10.0
proxy:
http_proxy:
https_proxy:
no_proxy:
components:
- core
- jobservice
- clair
修改完成之后，使用官方自带脚本更新参数，在harbor目录中执行./prepare，这时候你会发现harbor是需要安装docker和docker-compose才能使用的。3、docker安装步骤略，docker-dompose安装步骤如下：yum install python-pippip install docker-compose
4、接着在harbor目录下执行./install.sh命令即可，会自动导入镜像并启动对应的容器，待脚本跑完之后使用docke-compose ps即可查看，常用命令包含以下几个：
docker-compose up-d###后台启动，如果容器不存在根据镜像自动创建
docker-compose down-v ###停止容器并删除容器
docker-composestart###启动容器，不存在就无法启动，不会自动创建
docker-composestop###停止容器
注：其实上面是停止docker-compose.yml中定义的所有容器，默认情况下docker-compose就是操作同目录下的docker-compose.yml文件，如果使用其他yml文件，可以使用-f自己指定。最后使用链接https://domain.com（这是我自己的地址，你需要换成你自己的），输入用户名密码即可登录系统了。
4.2、push和pull镜像
1、docker默认是从官方拉取镜像的，并且从1.12版本之后，默认私有仓库是使用https来进行连接，所以我们这里需要进行一些相应的修改：编辑docker启动文件，在启动命令后加入参数：--insecure-registry kube.com，然后使用systemctl daemon-reload一下，重启docker
2、使用docker命令对镜像打标签并且上传至私有仓库，docker打标签命令：docker tag centos:latest kube/devil/centos:latest 上面的命令的意思是将centos这个镜像的最新版latest打上标签，其中kube.com是仓库的地址，devil是仓库里创建的项目（可以网上看登录的界面截图，我创建了一个devil项目，项目分为公开和私有，公开项目不需要登录就可以进行拉取，私有的是需要登录以后才能拉取的，上传镜像都需要登录并且要有上传的权限才行），centos:latest是我自己取的名字和版本，可以跟原来的保持一致，也可以自己另外取名，比如centos:mytest，打完标签之后登录仓库并上传镜像：docker push kube/devil/centos:latest然后进入web管理界面即可查看到我们最新上传的镜像了
3、拉取镜像很简单，因为我设置的是公开项目，直接docker pull kube/devil/centos:latest即可
4.3、镜像仓库复制
一个仓库的情况下如果镜像仓库挂了，那么所有的镜像也就没有了，所以最好是创建一个备份仓库，harbor提供了镜像仓库复制功能，可以很好的自动实现；创建2个harbor仓库，其中一个为主，另外一个为辅，登陆主仓库http://kube.com，点击任意想要复制的仓库项目，然后复制，点击新建规则，名称、描述根据自己的实际随便填写，勾选启用，目标名为复制到辅仓库的目标名，需要存在，如果不存在可以勾选创建目标，url为辅仓库的harbor-ui的url，账户密码也是辅仓库账户密码，点击测试，测试成功代表没有问题了，然后就会自动复制了，从日志处可以看到复制的过程。
4.4、https的启用
要启用https，那么ca证书必不可少，一般内网环境都是直接使用自建ca,这里使用openssl自建ca，openssl的配置文件默认为/etc/pki/tls/openssl.cnf
进入到CA目录下执行
(umask077;opensslgenrsa-outprivate/cakey.pem2048)
# 括号中执行，代表使用子shell执行，不影响本机的umask值。
# 作为根 CA，可以生成一个自签名的证书，来标明自己的身份，签名方法如下
opensslreq-new-x509-keyprivate/cakey.pem-days3655-outcacert.pem
# 会提示输入相关信息，不要随便乱写，其中Common Name一般填写为域名或者ip地址，最好是域名。
# 开始生成服务证书
opensslgenrsa-outkube.com.key2048
# 生成签名请求
opensslreq-new-keykube.com.key-outkube.com.csr
# 使用ca证书签署请求
opensslca-inkube.com.csr-outkube.com.crt-days3650
# 提示信息选择yes就可以了
# 最后cp证书到harbor.yml配置设置好的路径下
cp-akube.com.* /etc/harbor/ssl
# 同时docker登录、推送镜像都需要使用证书，其中需要将ca证书放置到docker目录中，docker默认从/etc/docker/certs.d/kube.com/ 目录下读取证书
cp-aca.crt /etc/docker/certs.d/kube.com/
# 然后重启docker和harbor
systemctl daemon-reload && systemctlrestartdocker
docker-compose down-v&& docker-compose up-d
# 注意执行时的目录下有docker-compose.yml文件
五、Kubelet使用私有仓库项目
5.1 身份验证
要想拉取私有镜像必须在镜像仓库上进行身份验证。
$ dockerlogin
当出现提示时，输入 Docker 用户名和密码。
登录过程会创建或更新保存有授权令牌的 config.json 文件。
查看 config.json 文件：
cat~/.docker/config.json
输出结果包含类似于以下内容的部分：
{
"auths": {
"harbor.vmic.xyz": {
"auth":"YWRtaW46ZGV2aWwyMDIx"
}
},
"HttpHeaders": {
"User-Agent":"Docker-Client/19.03.14 (linux)"
}
}
说明： 如果使用 Docker 凭证仓库，则不会看到 auth 条目，看到的将是以仓库名称作为值的 credsStore 条目。
5.2 在集群中创建保存授权令牌的 Secret
Kubernetes 集群使用 docker-registry 类型的 Secret 来通过容器仓库的身份验证，进而提取私有映像。
创建 Secret，命名为 harborsecret：
$ kubectlcreate secret docker-registry harborsecret \
--docker-server=<你的镜像仓库服务器> \
--docker-username=<你的用户名> \
--docker-password=<你的密码> \
--docker-email=<你的邮箱地址>
在这里：
<your-registry-server> 是你的私有 Docker 仓库全限定域名（FQDN）。 (参考 https://index.docker.io/v1/ 中关于 DockerHub 的部分)
<your-name> 是你的 Docker 用户名。
<your-pword> 是你的 Docker 密码。
<your-email> 是你的 Docker 邮箱。
这样你就成功地将集群中的 Docker 凭据设置为名为 harborsecret 的 Secret。
5.3 检查 Secret harborsecret
了解创建的 regcred Secret 的内容，可以用 YAML 格式进行查看：
kubectlgetsecret harborsecret--output=yaml
输出和下面类似：
apiVersion: v1
data:
.dockerconfigjson: eyJodHRwczovL2luZGV4L ... J0QUl6RTIifX0=
kind: Secret
metadata:
...
name: harborsecret
...
type: kubernetes.io/dockerconfigjson
.dockerconfigjson 字段的值是 Docker 凭据的 base64 表示。
要了解 dockerconfigjson 字段中的内容，请将 Secret 数据转换为可读格式：
kubectlgetsecret harborsecret--output="jsonpath={.data.\.dockerconfigjson}"| base64--decode
输出和下面类似：
{"auths":{"yourprivateregistry.com":{"username":"admin","password":"xxxxxxxxxxx","email":"weiping.tao@xxx.com","auth":"c3R...zE2"}}}
要了解 auth 字段中的内容，请将 base64 编码过的数据转换为可读格式：
echo"c3R...zE2"| base64--decode
输出结果中，用户名和密码用 : 链接，类似下面这样：
admin:xxxxxxxxxxx
注意，Secret 数据包含与本地 ~/.docker/config.json 文件类似的授权令牌。
这样你就已经成功地将 Docker 凭据设置为集群中的名为 harborsecret 的 Secret。
5.4 创建一个使用你的 Secret 的 Pod
下面是一个 Pod 配置文件，它需要访问 harborsecret 中的 Docker 凭据：
$ wget-Omy-private-reg-pod.yaml https://k8s.io/examples/pods/private-reg-pod.yaml
在my-private-reg-pod.yaml 文件中，使用私有仓库的镜像路径替换 <your-private-image>，例如：
创建使用了你的 Secret 的 Pod，并检查它是否正常运行：
