使用 code-generator 为 CustomResources 生成代码

kubernetes 项目中有相当一部分代码是自动生成的，主要是 API 的定义和调用方法，kubernetes 项目下 k8s.io/kubernetes/hack/ 目录中以 update 开头的大部分脚本都是用来生成代码的。code-generator 是官方提供的代码生成工具，在实现自定义 controller 的时候需要用到 CRD，也需要使用该工具生成对 CRD 操作的代码。

要生成哪些代码

在自定义 controller 时需要用到 typed clientsets，informers，listers 和 deep-copy 等函数，这些函数都可以使用 code-generator 来生成，具体的作用可以参考：kubernetes 中 informer 的使用。

code-generator 里面包含多个生成代码的工具，下面是需要用到的几个：

deepcopy-gen：为每种类型T生成方法： func (t* T) DeepCopy() *T，CustomResources 必须实现runtime.Object 接口且要有 DeepCopy 方法
client-gen：为 CustomResource APIGroups 生成 typed clientsets
informer-gen：为 CustomResources 创建 informers，用来 watch 对应 CRD 所触发的事件，以便对 CustomResources 的变化进行对应的处理
lister-gen：为 CustomResources 创建 listers，用来对 GET/List 请求提供只读的缓存层

除了上面几个工具外，code-generator 中还提供了 conversion-gen、defaulter-gen、register-gen、set-gen，这些生成器可以应用在其他场景，比如构建聚合 API 服务时会用到一些内部的类型，conversion-gen 会为这些内部和外部类型之间创建转换函数，defaulter-gen 会处理某些字段的默认值。

代码生成步骤

使用 code-generator 生成代码还需要以下几步：

创建指定的目录格式
在代码中使用 tag 标注要生成哪些代码

首先要创建指定的目录格式，目录的格式可以参考官方提供的示例项目：sample-controller，下文也会讲到，目录中需要包含对应 CustomResources 的定义以及 group 和 version 信息。

其次要在在代码中使用 tag 标注要生成哪些代码，tag 有两钟类型，全局的和局部的，所有类型的 deepcopy tag 会默认启用，更多关于 tag 的使用方法可以参考：Kubernetes Deep Dive: Code Generation for CustomResources，也可以参考官方的示例 code-generator/_example 。

开始生成代码

本文以该 CRD 为例子进行演示，group 为ecs.yun.com ，version 为 v1：

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: kubernetesclusters.ecs.yun.com
spec:
  group: ecs.yun.com
  names:
    kind: KubernetesCluster
    listKind: KubernetesClusterList
    plural: kubernetesclusters
    singular: kubernetescluster
    shortNames:
    - ecs
  scope: Namespaced
  subresources:
    status: {}
  version: v1
  versions:
  - name: v1
    served: true
    storage: true

创建指定目录结构 pkg/apis/{group}/{version}，group 可以定义一个 shortNames，也就是 CRD 中的 shortNames

$ mkdir -pv pkg/apis/ecs/v1

创建 doc.go：

$ cat << EOF > pkg/apis/ecs/v1/doc.go
// Package v1 contains API Schema definitions for the ecs v1 API group
// +k8s:deepcopy-gen=package,register
// +groupName=ecs.yun.com
package v1
EOF

创建 register.go：

$ cat << EOF > pkg/apis/ecs/v1/register.go
package v1

import (
    "github.com/gosoon/kubernetes-operator/pkg/apis/ecs"

    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
    "k8s.io/apimachinery/pkg/runtime"
    "k8s.io/apimachinery/pkg/runtime/schema"
)

// SchemeGroupVersion is group version used to register these objects
var SchemeGroupVersion = schema.GroupVersion{Group: ecs.GroupName, Version: "v1"}

// Kind takes an unqualified kind and returns back a Group qualified GroupKind
func Kind(kind string) schema.GroupKind {
    return SchemeGroupVersion.WithKind(kind).GroupKind()
}

// Resource takes an unqualified resource and returns a Group qualified GroupResource
func Resource(resource string) schema.GroupResource {
    return SchemeGroupVersion.WithResource(resource).GroupResource()
}

var (
    SchemeBuilder = runtime.NewSchemeBuilder(addKnownTypes)
    AddToScheme   = SchemeBuilder.AddToScheme
)

// Adds the list of known types to Scheme.
func addKnownTypes(scheme *runtime.Scheme) error {
    scheme.AddKnownTypes(SchemeGroupVersion,
        &KubernetesCluster{},
        &KubernetesClusterList{},
    )
    metav1.AddToGroupVersion(scheme, SchemeGroupVersion)
    return nil
}
EOF

创建 types.go，该文件中会定义多个 tag

$ cat << EOF > pkg/apis/ecs/v1/types.go
package v1

import (
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

// +genclient
// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// KubernetesCluster is the Schema for the kubernetesclusters API
type KubernetesCluster struct {
    metav1.TypeMeta   `json:",inline"`
    metav1.ObjectMeta `json:"metadata,omitempty"`

    Spec   KubernetesClusterSpec   `json:"spec,omitempty"`
    Status KubernetesClusterStatus `json:"status,omitempty"`
}

// KubernetesClusterSpec defines the desired state of KubernetesCluster
type KubernetesClusterSpec struct {
    // Add custom validation using kubebuilder tags:    
    // https://book.kubebuilder.io/beyond_basics/generating_crd.html
    TimeoutMins   string     `json:"timeout_mins,omitempty"`
    ClusterType   string     `json:"clusterType,omitempty"`
    ContainerCIDR string     `json:"containerCIDR,omitempty"`
    ServiceCIDR   string     `json:"serviceCIDR,omitempty"`
    MasterList    []Node     `json:"masterList" tag:"required"`
    MasterVIP     string     `json:"masterVIP,omitempty"`
    NodeList      []Node     `json:"nodeList" tag:"required"`
    EtcdList      []Node     `json:"etcdList,omitempty"`
    Region        string     `json:"region,omitempty"`
    AuthConfig    AuthConfig `json:"authConfig,omitempty"`
}

// AuthConfig defines the nodes peer authentication
type AuthConfig struct {
    Username      string `json:"username,omitempty"`
    Password      string `json:"password,omitempty"`
    PrivateSSHKey string `json:"privateSSHKey,omitempty"`
}

// KubernetesClusterStatus defines the observed state of KubernetesCluster
type KubernetesClusterStatus struct {
    // Add custom validation using kubebuilder tags: https://book.kubebuilder.io/beyond_basics/generating_crd.html
    Phase KubernetesOperatorPhase `json:"phase,omitempty"`

    // when job failed callback or job timeout used
    Reason string `json:"reason,omitempty"`

    // JobName is store each job name
    JobName string `json:"jobName,omitempty"`

    // Last time the condition transitioned from one status to another.
    LastTransitionTime metav1.Time `json:"lastTransitionTime,omitempty"`
}

// +genclient:nonNamespaced
// +k8s:deepcopy-gen:interfaces=k8s.io/apimachinery/pkg/runtime.Object

// KubernetesClusterList contains a list of KubernetesCluster
type KubernetesClusterList struct {
    metav1.TypeMeta `json:",inline"`
    metav1.ListMeta `json:"metadata,omitempty"`
    Items           []KubernetesCluster `json:"items"`
}

// users
// "None,Creating,Running,Failed,Scaling"
type KubernetesOperatorPhase string

type Node struct {
    IP string `json:"ip,omitempty"`
}
EOF

执行命令生成代码：

$ $GOPATH/src/k8s.io/code-generator/generate-groups.sh all github.com/gosoon/kubernetes-operator/pkg/client github.com/gosoon/kubernetes-operator/pkg/apis ecs:v1

generate-groups.sh 需要四个参数：

第一个参数：all，也就是要生成所有的模块，clientset，informers，listers
第二个参数：github.com/gosoon/kubernetes-operator/pkg/client 这个是你要生成代码的目录，目录的名称一般定义为 client
第三个参数：github.com/gosoon/kubernetes-operator/pkg/apis 这个目录是已经创建好的源目录
第四个参数："ecs:v1" 是 group 和 version 信息，ecs 是 apis 下的目录，v1 是 ecs 下面的目录

生成的代码如下所示：

.
└── pkg
    ├── apis
    │   └── ecs
    │       └── v1
    │           ├── doc.go
    │           ├── register.go
    │           ├── types.go
    │           └── zz_generated.deepcopy.go
    └── client
        ├── clientset
        │   └── versioned
        │       ├── clientset.go
        │       ├── doc.go
        │       ├── fake
        │       │   ├── clientset_generated.go
        │       │   ├── doc.go
        │       │   └── register.go
        │       ├── scheme
        │       │   ├── doc.go
        │       │   └── register.go
        │       └── typed
        │           └── ecs
        │               └── v1
        │                   ├── doc.go
        │                   ├── ecs_client.go
        │                   ├── fake
        │                   │   ├── doc.go
        │                   │   ├── fake_ecs_client.go
        │                   │   └── fake_kubernetescluster.go
        │                   ├── generated_expansion.go
        │                   └── kubernetescluster.go
        ├── informers
        │   └── externalversions
        │       ├── ecs
        │       │   ├── interface.go
        │       │   └── v1
        │       │       ├── interface.go
        │       │       └── kubernetescluster.go
        │       ├── factory.go
        │       ├── generic.go
        │       └── internalinterfaces
        │           └── factory_interfaces.go
        └── listers
            └── ecs
                └── v1
                    ├── expansion_generated.go
                    └── kubernetescluster.go

21 directories, 26 files

CRD 以及生成的代码见：kubernetes-operator。

总结

本问讲述了如何使用 code-generator 生成代码，要使用自定义 controller 代码生成是最开始的一步，下文会继续讲述自定义 controller 的详细步骤，感兴趣的可以关注笔者 github 的项目 kubernetes-operator。

参考：

https://github.com/kubernetes/sample-controller

https://blog.openshift.com/kubernetes-deep-dive-code-generation-customresources/

https://hexo.do1618.com/2018/04/04/Kubernetes-Deep-Dive-Code-Generation-for-CustomResources/