关于Kubernetes 中通过 Kustomize 实现YAML资源文件组合与继承的一些笔记

傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。——–王小波

分享一些通过Kustomize 实现YAML资源文件组合与继承的笔记
官方文档里叫做组织和定制，这里这么叫方便理解
博文内容基本为官网文档内容
理解不足小伙伴帮忙指正

在使用 helm 的时候，有些 chart 包里面，小伙伴可能会发现，好多资源对象是定义在一个文件里的，而且定义的顺序是按照创建顺序的，刚开始我一直以为是写好之后又整合到一起的，但是后来遇到了 Kustomize,才发现可能并不是那样。

Kustomize 通过 kustomization 文件不但可以定制 Kubernetes 对象。还可以组合多个资源对象为一个 yaml 文件，实现资源对象 yaml 文件的简单管理。

组合和继承资源

一种常见的做法是在项目中构造资源集合并将其放到同一个文件或目录中管理。 Kustomize 提供基于不同配置文件来合并资源并向其应用一些补丁或者其他定制的能力。

资源文件的组合

Kustomize 支持组合不同的资源。kustomization.yaml 文件的 resources 字段定义配置中要包含的资源列表。你可以将 resources 列表中的路径设置为资源配置文件的路径。下面是由 Deployment 和 Service 构成的 NGINX 应用的示例：

┌──[[email protected]]-[~/kustomize/merge]
└─$cat deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: web-deploy
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: web
    spec:
      containers:
      - image: nginx
        name: nginx-web
        ports:
        - containerPort: 80
          name: nginx-web
        resources: {}
status: {}

┌──[[email protected]]-[~/kustomize/merge]
└─$cat service.yaml
apiVersion: v1
kind: Service
metadata:
  name: web-svc
  labels:
    app: nginx-svc
spec:
  ports:
  - port: 30088
    targetPort: 80
    name: nginx-web
  selector:
    app: web

定义如下的 kustomization yaml 文件，即可以做到 deploy 和 svc 的 yaml 文件整合

┌──[[email protected]]-[~/kustomize/merge]
└─$cat kustomization.yaml
resources:
- deploy.yaml
- service.yaml
┌──[[email protected]]-[~/kustomize/merge]
└─$ls
deploy.yaml  kustomization.yaml  service.yaml

kubectl kustomize ./ 检查生成的资源文件

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl kustomize ./
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx-svc
  name: web-svc
spec:
  ports:
  - name: nginx-web
    port: 30088
    targetPort: 80
  selector:
    app: web
---
apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: web-deploy
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: web
    spec:
      containers:
      - image: nginx
        name: nginx-web
        ports:
        - containerPort: 80
          name: nginx-web
        resources: {}
status: {}

如果希望直接应用他们，可以实现下面的命令

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl apply  -k ./

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl get  svc web-svc
NAME      TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)     AGE
web-svc   ClusterIP   10.106.69.74   <none>        30088/TCP   25h
┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl get  deployments.apps web
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
web    3/3     3            3           25h

资源文件的继承

补丁文件(Patches)可以用来对资源执行不同的定制。用通俗的话讲，即可以定义一些其他的文件(补丁文件)，在继承原来资源文件的基础上，重写原来的单一的资源文件中某些字段。类似于面向对象里面的继承关系。

Kustomize 通过 patchesStrategicMerge 和 patchesJson6902 支持不同的打补丁机制(重写)。

模板化重写

patchesStrategicMerge 的内容是一个文件路径的列表，其中每个文件都应可解析为策略性合并补丁(Strategic Merge Patch)。补丁文件中的名称必须与已经加载的资源的名称匹配。建议构造规模较小的、仅做一件事情的补丁。

例如，构造一个补丁来增加 Deployment 的副本个数；构造另外一个补丁来设置内存限制。

┌──[[email protected]]-[~/kustomize/patches]
└─$cat deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  selector:
    matchLabels:
      run: my-nginx
  replicas: 2
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - name: my-nginx
        image: nginx
        ports:
        - containerPort: 80

重写 Deployment 的副本个数

┌──[[email protected]]-[~/kustomize/patches]
└─$cat increase_replicas.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 3

重写 pod 模板的内存限制

┌──[[email protected]]-[~/kustomize/patches]
└─$cat set_memory.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  template:
    spec:
      containers:
      - name: my-nginx
        resources:
          limits:
            memory: 512Mi
┌──[[email protected]]-[~/kustomize/patches]
└─$

kustomization 文件可以看做是描述继承关系的文件

┌──[[email protected]]-[~/kustomize/patches]
└─$ls
deployment.yaml  increase_replicas.yaml  kustomization.yaml  set_memory.yaml
┌──[[email protected]]-[~/kustomize/patches]
└─$cat kustomization.yaml
resources:
- deployment.yaml
patchesStrategicMerge:
- increase_replicas.yaml
- set_memory.yaml

生成的新的资源文件

┌──[[email protected]]-[~/kustomize/patches]
└─$kubectl kustomize ./
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      run: my-nginx
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - image: nginx
        name: my-nginx
        ports:
        - containerPort: 80
        resources:
          limits:
            memory: 512Mi

局部值重写

并非所有资源或者字段都支持策略性合并补丁。为了支持对任何资源的任何字段进行修改， Kustomize 提供通过 patchesJson6902 来应用 JSON 补丁的能力。为了给 JSON 补丁找到正确的资源，需要在 kustomization.yaml 文件中指定资源的组（group）、版本（version）、类别（kind）和名称（name）。例如，为某 Deployment 对象增加副本个数的操作也可以通过 patchesJson6902 来完成：

# 创建一个 JSON 补丁文件
cat  patch.yaml
- op: replace
  path: /spec/replicas
  value: 3
# 创建一个 kustomization.yaml
cat ./kustomization.yaml
resources:
- deployment.yaml

patchesJson6902:
- target:
    group: apps
    version: v1
    kind: Deployment
    name: my-nginx
  path: patch.yaml

对象字段重写

除了补丁之外，Kustomize 还提供定制容器镜像或者将其他对象的字段值注入到容器中的能力，并且不需要创建补丁。例如，你可以通过在 kustomization.yaml 文件的 images 字段设置新的镜像来更改容器中使用的镜像。

cat ./kustomization.yaml
resources:
- deployment.yaml
images:
- name: nginx
  newName: my.image.registry/nginx
  newTag: 1.4.0

组合中变量的使用

有些时候，Pod 中运行的应用可能需要使用来自其他对象的配置值。例如，某 Deployment 对象的 Pod 需要从环境变量或命令行参数中读取读取 Service 的名称。由于在 kustomization.yaml 文件中添加 namePrefix 或 nameSuffix 时 Service 名称可能发生变化，建议不要在命令参数中硬编码 Service 名称。对于这种使用场景，Kustomize 可以通过 vars 将 Service 名称注入到容器中。

deployment 中使用了变量

┌──[[email protected]]-[~/kustomize/vars]
└─$cat deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  selector:
    matchLabels:
      run: my-nginx
  replicas: 2
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - name: my-nginx
        image: nginx
        command: ["start", "--host", "$(MY_SERVICE_NAME)"]
┌──[[email protected]]-[~/kustomize/vars]
└─$cat service.yaml
apiVersion: v1
kind: Service
metadata:
  name: my-nginx
  labels:
    run: my-nginx
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx

kustomization.yaml 需要定义变量的来源。

┌──[[email protected]]-[~/kustomize/vars]
└─$ls
deployment.yaml  kustomization.yaml  service.yaml
┌──[[email protected]]-[~/kustomize/vars]
└─$cat kustomization.yaml
namePrefix: dev-
nameSuffix: "-001"

resources:
- deployment.yaml
- service.yaml

vars:
- name: MY_SERVICE_NAME
  objref:
    kind: Service
    name: my-nginx
    apiVersion: v1

查看组合后的变量情况

┌──[[email protected]]-[~/kustomize/vars]
└─$kubectl kustomize ./
apiVersion: v1
kind: Service
metadata:
  labels:
    run: my-nginx
  name: dev-my-nginx-001
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dev-my-nginx-001
spec:
  replicas: 2
  selector:
    matchLabels:
      run: my-nginx
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - command:
        - start
        - --host
        - dev-my-nginx-001
        image: nginx
        name: my-nginx
┌──[[email protected]]-[~/kustomize/vars]
└─$

Bases 与 Overlays

Kustomize 中有基准(bases) 和覆盖(overlays) 的概念区分。这里可以理解为目录级别 yaml 资源文件的继承。基准为父类目录，覆盖为子类重写目录。

基准是包含 kustomization.yaml 文件的一个目录，其中包含一组资源及其相关的定制。基准可以是本地目录或者来自远程仓库的目录，只要其中存在 kustomization.yaml 文件即可。

覆盖也是一个目录，其中包含将其他 kustomization 目录当做 bases 来引用的 kustomization.yaml 文件。基准不了解覆盖的存在，且可被多个覆盖所使用。覆盖则可以有多个基准，且可针对所有基准中的资源执行组织操作，还可以在其上执行定制。

创建一个 bases 目录。里面存放基准的 yaml 文件

kustomization.yaml 文件定义

┌──[[email protected]]-[~/kustomize/rebase]
└─$cat kustomization.yaml
resources:
- deployment.yaml
- service.yaml

合并后的基准文件

┌──[[email protected]]-[~/kustomize/rebase]
└─$kubectl kustomize  ./
apiVersion: v1
kind: Service
metadata:
  labels:
    run: my-nginx
  name: my-nginx
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      run: my-nginx
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - image: nginx
        name: my-nginx

此基准可在多个覆盖中使用。你可以在不同的覆盖中添加不同的 namePrefix 或其他通用字段。下面是两个使用同一基准的覆盖(具体的 Yaml 资源目录继承)：

┌──[[email protected]]-[~/kustomize/]
└─$mkdir dev
┌──[[email protected]]-[~/kustomize/]
└─$mkdir prod

编写继承的 yaml 资源文件目录的 kustomization.yaml 文件

┌──[[email protected]]-[~/kustomize]
└─$cat ./prod/kustomization.yaml
bases:
- ../rebase
namePrefix: prod-
namespace: liruilong-prod
┌──[[email protected]]-[~/kustomize]
└─$cat ./dev/kustomization.yaml
bases:
- ../rebase
namePrefix: dev-
namespace: liruilong-dev

查看覆盖(继承)后新的资源文件

┌──[[email protected]]-[~/kustomize]
└─$kubectl kustomize  ./prod/
apiVersion: v1
kind: Service
metadata:
  labels:
    run: my-nginx
  name: prod-my-nginx
  namespace: liruilong-prod
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prod-my-nginx
  namespace: liruilong-prod
spec:
  replicas: 2
  selector:
    matchLabels:
      run: my-nginx
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - image: nginx
        name: my-nginx
┌──[[email protected]]-[~/kustomize]
└─$kubectl kustomize  ./dev/
apiVersion: v1
kind: Service
metadata:
  labels:
    run: my-nginx
  name: dev-my-nginx
  namespace: liruilong-dev
spec:
  ports:
  - port: 80
    protocol: TCP
  selector:
    run: my-nginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dev-my-nginx
  namespace: liruilong-dev
spec:
  replicas: 2
  selector:
    matchLabels:
      run: my-nginx
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - image: nginx
        name: my-nginx
┌──[[email protected]]-[~/kustomize]
└─$

如何使用 Kustomize 来应用、查看和删除对象

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl apply -k ./
service/web-svc created
deployment.apps/web created

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl get -k ./
NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
service/web-svc   ClusterIP   10.100.206.11   <none>        30088/TCP   7s

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/web   1/3     3            1           7s
┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl describe -k ./
Name:              web-svc
Namespace:         awx
Labels:            app=nginx-svc
Annotations:       <none>
Selector:          app=web
Type:              ClusterIP
。。。。。。


Name:                   web
Namespace:              awx
CreationTimestamp:      Sat, 24 Dec 2022 01:14:23 +0800
Labels:                 app=web-deploy
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               app=web
Replicas:               3 desired | 3 updated | 3 total | 3 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
。。。。。
┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl diff -k ./

┌──[[email protected]]-[~/kustomize/merge]
└─$kubectl delete -k ./
service "web-svc" deleted
deployment.apps "web" deleted
┌──[[email protected]]-[~/kustomize/merge]
└─$

https://kubectl.docs.kubernetes.io/zh/installation/

https://github.com/kubernetes-sigs/kustomize

https://kubernetes.io/zh-cn/docs/tasks/manage-kubernetes-objects/kustomization/

qiabib

关于Kubernetes 中通过 Kustomize 实现YAML资源文件组合与继承的一些笔记

关于Kubernetes 中通过 Kustomize 实现YAML资源文件组合与继承的一些笔记

组合和继承资源

资源文件的组合

资源文件的继承

模板化重写

局部值重写

对象字段重写

组合中变量的使用

Bases 与 Overlays

如何使用 Kustomize 来应用、查看和删除对象

Recommend

关于 Kubernetes 中通过 Kustomize 定制 Yaml资源文件的一些笔记

关于Linux下通过ping、mtr 长期监控网络输出日志报告的一些笔记

关于Linux下Docker内网离线安装的一些笔记

AR眼镜语音转文字实测！效果像开了弹幕，对话记录可保存回溯

利润率锐减，食品安全问题频出，华莱士恐难靠规模取胜

Merry Christmas and upcoming NY2023

Evaluating Spring Boot, Quarkus, or Micronaut and why for Stargate v2

Some News About the 4th Edition of Physically Based Rendering

How to properly record Youtube & Twitch live streams

重磅！2023年中国及31省市家电行业政策汇总及解读（全）智能家电、绿色家电成为发展主...

About Joyk