kubernetes ConfigMap实现研究

ConfigMap的实现

在k8s中,ConfigMap是由apiserver存储在etcd中:

  • ConfigMap存储在Registry
  • Registry的使用generic的storage
  • generic storage backend便是etcd
    • 其实还带有缓存

pod创建的时候:

可以看到,配置值源头是存储在etcd中,但会经过apiserverkubeletpod环境变量等多个层次传递,而其中又有缓存等机制,因此实际上难以做到对配置值的实时更新。

具体也可以参考蚂蚁金服宋净超写的Kubernetes HandbookConfigMap的热更新一节:

更新 ConfigMap 目前并不会触发相关 Pod 的滚动更新,可以通过修改 pod annotations 的方式强制触发滚动更新。

更新 ConfigMap 后:

* 使用该 ConfigMap 挂载的 Env 不会同步更新
* 使用该 ConfigMap 挂载的 Volume 中的数据需要一段时间(实测大概10秒)才能同步更新

ENV 是在容器启动的时候注入的,启动之后 kubernetes 就不会再改变环境变量的值,且同一个 namespace 中的 pod 的环境变量是不断累加的,参考 Kubernetes中的服务发现与docker容器间的环境变量传递源码探究。为了更新容器中使用 ConfigMap 挂载的配置,需要通过滚动更新 pod 的方式来强制重新挂载 ConfigMap。

ConfigMap的考量

ConfigMap的优势是在于运维可以更加全面的管理配置信息,并通过环境变量、命令行参数、映射文件等方式传递配置给应用,而不需要应用做任何修改;通过使用ConfigMap应用对于配置中心的存在可以完全无感知。

对于没有源码控制的程序,如nginx、redis等,ConfigMap是蛮不错的选择。

但对于我们能够控制源码的程序,则应该可以通过对应用代码修改,来进一步发挥配置中心的能力。

k8s实现代码参考

代码嵌套调用较多,这里就不一一注释了。


// https://github.com/kubernetes/kubernetes/blob/5f578f33855f1848a10fdf22c0f27e8a69b3cbb8/pkg/kubelet/kubelet.go#L550

configMapManager := configmap.NewCachingConfigMapManager(
        kubeDeps.KubeClient, manager.GetObjectTTLFromNodeFunc(klet.GetNode))
klet.configMapManager = configMapManager

// https://github.com/kubernetes/kubernetes/blob/7909712ca574c536901bc7858dfbf72a3a6ee7dd/pkg/kubelet/configmap/configmap_manager.go#L117

func NewCachingConfigMapManager(kubeClient clientset.Interface, getTTL manager.GetObjectTTLFunc) Manager {
    getConfigMap := func(namespace, name string, opts metav1.GetOptions) (runtime.Object, error) {
        // 这里的kubeClient.CoreV1 是
        // https://github.com/kubernetes/kubernetes/tree/e40ffd71972b820aeed283946e880aa2479f8524/staging/src/k8s.io/client-go/kubernetes/typed/core/v1
        return kubeClient.CoreV1().ConfigMaps(namespace).Get(name, opts)
    }
    configMapStore := manager.NewObjectStore(getConfigMap, clock.RealClock{}, getTTL, defaultTTL)
    return &configMapManager{
        manager: manager.NewCacheBasedManager(configMapStore, getConfigMapNames),
    }
}

// v1的configmap实现
// https://github.com/kubernetes/kubernetes/blob/e40ffd71972b820aeed283946e880aa2479f8524/staging/src/k8s.io/client-go/kubernetes/typed/core/v1/configmap.go#L64

// Get takes name of the configMap, and returns the corresponding configMap object, and an error if there is any.
func (c *configMaps) Get(name string, options meta_v1.GetOptions) (result *v1.ConfigMap, err error) {
    result = &v1.ConfigMap{}
    err = c.client.Get().
        Namespace(c.ns).
        Resource("configmaps").
        Name(name).
        VersionedParams(&options, scheme.ParameterCodec).
        Do().
        Into(result)
    return
}

// https://github.com/kubernetes/kubernetes/blob/master/pkg/kubelet/util/manager/cache_based_manager.go#L74

func NewObjectStore(getObject GetObjectFunc, clock clock.Clock, getTTL GetObjectTTLFunc, ttl time.Duration) Store {
    return &objectStore{
        getObject:  getObject,
        clock:      clock,
        items:      make(map[objectKey]*objectStoreItem),
        defaultTTL: ttl,
        getTTL:     getTTL,
    }
}

// https://github.com/kubernetes/kubernetes/blob/e40ffd71972b820aeed283946e880aa2479f8524/pkg/client/listers/core/internalversion/configmap.go#L85

func (s configMapNamespaceLister) Get(name string) (*core.ConfigMap, error) {
    obj, exists, err := s.indexer.GetByKey(s.namespace + "/" + name)
    if err != nil {
        return nil, err
    }
    if !exists {
        return nil, errors.NewNotFound(core.Resource("configmap"), name)
    }
    return obj.(*core.ConfigMap), nil
}

// https://github.com/kubernetes/kubernetes/blob/master/pkg/apis/core/types.go#L4277

type ConfigMap struct {
    metav1.TypeMeta
    // +optional
    metav1.ObjectMeta
}

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,607评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,047评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,496评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,405评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,400评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,479评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,883评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,535评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,743评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,544评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,612评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,309评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,881评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,891评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,136评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,783评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,316评论 2 342

推荐阅读更多精彩内容