大网数据广告活动
Kubernetes 部署与运维

使用 Pod 级资源与 kubelet 资源管理器

· 52CE 我爱测

本教程演示如何配置 `kubelet` 的资源管理器(拓扑、CPU 和内存) 以支持 Pod 级资源规约。你可以定义**混合分配模型**: 其中一些容器获得独占的、NUMA 对齐的基础设施资源, 而另一些容器则共享 Pod 级共享池中的剩余资源。

本教程演示如何配置 kubelet 的资源管理器(拓扑、CPU 和内存) 以支持 Pod 级资源规约。你可以定义混合分配模型: 其中一些容器获得独占的、NUMA 对齐的基础设施资源, 而另一些容器则共享 Pod 级共享池中的剩余资源。

要了解该特性背后的概念,请阅读 Pod 级资源管理器概念页面。

  • 配置 kubelet 资源管理器(CPU、内存和拓扑)以支持 Pod 级资源。
  • 使用 pod 拓扑管理器作用域部署工作负载,以实现混合的独占容器和共享容器,并达到单 NUMA 对齐。
  • 查看并验证 CPU 和内存资源如何在独占容器与 Pod 共享池之间划分。
  • 了解当 Pod 级共享池将为空时的准入拒绝规则。
  • 使用 container 拓扑管理器作用域和混合的容器分配部署工作负载。

要完成本教程,你需要:

  • 一个带有 Linux 工作节点的 Kubernetes 集群 (Pod 级资源管理器在 Windows 节点上不受支持)。
  • 至少一个具有 NUMA 拓扑的工作节点 (最好有多个 NUMA 节点,以便观察对齐情况)。
  • 在工作节点上拥有管理权限(root 或 sudo), 以修改 kubelet 配置并重启 kubelet 服务。
  • 拥有 kubectl 访问权限,且具备创建名字空间和 Pod 的权限。

确保为控制平面和工作节点启用了以下特性门控:

  • PodLevelResources
  • PodLevelResourceManagers

创建一个名字空间 {#create-namespace}

创建一个名字空间,使本教程中创建的资源与集群的其余部分隔离开来:

kubectl create namespace plrm-tutorial

在混合分配场景中使用 Pod 作用域 {#use-pod-scope-with-mixed-allocation}

当拓扑管理器的作用域设置为 pod 时,kubelet 会基于 .spec.resources 为整个 Pod 执行一次 NUMA 对齐。得到的资源预算随后被划分: 请求 Guaranteed 资源的容器获得独占切片, 而未获得独占分配的容器则在 Pod 级共享池中共享剩余的预算。

第 1 步:针对 Pod 作用域配置 kubelet {#step-1-configure-kubelet-for-pod-scope}

若要启用此行为,请在希望以所需策略运行这些工作负载的目标工作节点上配置 kubelet。 你可以按如下方式更新这些节点的 kubelet 配置:

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cpuManagerPolicy: "static"
memoryManagerPolicy: "Static"
topologyManagerScope: "pod"
topologyManagerPolicy: "single-numa-node"
  • 对于 topologyManagerPolicy,有效值为 single-numa-node、restricted 或 best-effort。 使用 Pod 级资源管理时,你不能指定其他任何值。

重启 kubelet 以应用该配置。例如,在使用 systemd 的 Linux 上: systemctl restart kubelet.service。

第 2 步:部署混合分配的 Pod {#step-2-deploy-a-mixed-allocation-pod}

请考虑以下示例 Pod 清单。该 Pod 在 Pod 级别(.spec.resources) 请求总计 4 个 CPU 的预算。在该 Pod 内部:

  • main-app 容器请求 2 个完整 CPU 核心的独占分配 (requests = limits = 2 CPU)。
  • 由于 metrics-sidecar 和 logging-sidecar 未指定容器级别的 requests, 这两个边车容器共享 Pod 级共享池中剩余的 CPU 核心:2 个 CPU 核心。

将清单应用到你的集群:

kubectl apply -f https://k8s.io/examples/pods/resource/pod-level-resource-managers-pod-scope-mixed.yaml --namespace=plrm-tutorial

第 3 步:验证和检查资源划分 {#step-3-verify-and-inspect-resource-partitioning}

  1. 检查 Pod 是否成功运行:

    kubectl get pod pod-scope-mixed --namespace=plrm-tutorial
    
  2. 了解背后发生了什么:

    flowchart TD
        subgraph Pod["Pod-Level Budget: 4 CPUs, 4Gi Memory"]
            direction TB
            C1["main-app<br/>(Exclusive: 2 CPUs, 2Gi Memory)"]
            subgraph Pool["Pod Shared Pool: 2 CPUs, 2Gi Memory"]
                C2["metrics-sidecar"]
                C3["logging-sidecar"]
            end
        end
    
    • Pod 对齐: 拓扑管理器评估了 4 个 CPU 的 Pod 请求 (spec.resources),并将整个 Pod 分配到单个 NUMA 节点。

    • 独占分配: CPU 管理器为 main-app 分配了一个专属的 2 个 CPU 切片。 main-app 的 CPU CFS 配额节流被禁用,使其能够不受节流地访问这些独占核心。

    • Pod 共享池: 剩余的 2 个 CPU 构成一个 Pod 级共享池。 metrics-sidecar 和 logging-sidecar 未指定任何容器级资源 (resources: {}),因此它们在这个 Pod 隔离的共享池中运行, 并启用了 CFS 配额强制执行。虽然该池由这两个边车共享, 但它与节点上的外部工作负载隔离开来,为这些边车提供专属的 NUMA 局部性,并防止节点级资源争用。

观察空共享池的准入限制 {#empty-shared-pool-restrictions}

使用 pod 作用域时,如果存在需要共享池的容器,而某些 Pod 规约会导致 Pod 共享池为空, 则 kubelet 的准入控制会拒绝这些 Pod 规约。

如果来自 Guaranteed 容器的独占资源请求之和等于 Pod 级总预算, 并且至少还有一个容器需要共享池,那么 kubelet 将拒绝该 Pod。

第 4 步:检查无效的 Pod 清单 {#step-4-examine-the-invalid-pod-manifest}

请考虑以下清单。该 Pod 请求总计 4 个 CPU 的预算。 container-a 请求独占的 1 个 CPU,container-b 请求独占的 3 个 CPU (合计 4 个 CPU)。container-c 未请求独占资源且需要共享池,但已剩下 0 个 CPU:

第 5 步:尝试部署并观察拒绝 {#step-5-attempt-deployment-and-observe-rejection}

  1. 应用此清单:

    kubectl apply -f https://k8s.io/examples/pods/resource/pod-level-resource-managers-empty-shared-pool.yaml --namespace=plrm-tutorial
    
  2. 查看 Pod 事件以观察准入错误:

    kubectl describe pod empty-shared-pool --namespace=plrm-tutorial
    

    请注意事件消息,它说明 kubelet 拒绝该 Pod 的原因是: 对于需要共享资源的容器而言,Pod 级共享池将为空:

    Status:           Failed
    Reason:           TopologyAffinityError
    Message:          Pod was rejected: Pod Scope pod with pod-level resources failed admission under pod-scope topology manager
    
    flowchart TD
        subgraph Pod["Pod-Level Budget: 4 CPUs, 4Gi Memory"]
            direction TB
            C1["container-a<br/>(Exclusive: 1 CPU, 1Gi Memory)"]
            C2["container-b<br/>(Exclusive: 3 CPUs, 3Gi Memory)"]
            subgraph Pool["Pod Shared Pool: 0 CPUs, 0Gi Memory"]
                C3["container-c<br/>(Requires shared pool)"]
            end
        end
        Pool --> Rejection["Admission Error: Pod Rejected!"]
        style Rejection fill:#ffcccc,stroke:#ff0000,stroke-width:2px
    

在混合分配场景下使用 container 作用域 {#use-container-scope-with-mixed-allocation}

你也可以将拓扑管理器的作用域配置为 container。在此模式下,kubelet 会逐个评估每个容器以进行独占分配, 而 .spec.resources 中的 Pod 总体预算仍会强制执行 QoS 和 cgroup 限额边界。

第 6 步:为 container 作用域配置 kubelet {#step-6-configure-kubelet-for-container-scope}

在目标工作节点上更新你的 kubelet 配置,以使用 container 作用域:

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cpuManagerPolicy: "static"
memoryManagerPolicy: "Static"
topologyManagerScope: "container"
topologyManagerPolicy: "single-numa-node"

重启 kubelet 以应用该配置。例如,在使用 systemd 的 Linux 上: systemctl restart kubelet.service。

第 7 步:部署容器作用域的混合工作负载 {#step-7-deploy-a-container-scoped-mixed-workload}

请考虑以下示例 Pod 清单。该 Pod 的总预算为 4 个 CPU:

  • infrastructure-sidecar 请求独占的 2 个 CPU 切片(requests = limits = 2 CPU)。
  • worker-1 和 worker-2 未指定容器级别的 requests,而是在常规的节点级共享池中运行。

应用该清单:

kubectl apply -f https://k8s.io/examples/pods/resource/pod-level-resource-managers-container-scope-mixed.yaml --namespace=plrm-tutorial

第 8 步:验证部署 {#step-8-verify-the-deployment}

  1. 检查 Pod 是否正在运行:

    kubectl get pod container-scope-mixed --namespace=plrm-tutorial
    
  2. 了解背后发生了什么:

    flowchart TD
        subgraph Pod["Pod-Level Budget: 4 CPUs, 4Gi Memory"]
            direction TB
            C1["infrastructure-sidecar<br/>(Exclusive NUMA Slice: 2 CPUs, 2Gi Memory)"]
            subgraph NodePool["Node Shared Pool: Pod-level limit"]
                C3["worker-2"]
                C2["worker-1"]
            end
        end
    
    • 容器作用域对齐: 在 container 作用域下,kubelet 会逐个评估容器。 infrastructure-sidecar 直接从节点的可分配池中获得一个独占的、NUMA 对齐的 2 个 CPU 切片。
    • 节点共享池: worker-1 和 worker-2 未指定任何容器级资源请求 (resources: {}),因此在 container 作用域下,它们在节点的常规共享池中运行(而不是在 Pod 隔离的池中)。
    • Pod 限额强制执行: 所有容器的 CPU 消耗总量仍由 Pod 级限额(spec.resources.limits)限制在 4 个 CPU 以内。

删除本教程中创建的名字空间和所有示例 Pod:

kubectl delete namespace plrm-tutorial

来源:Kubernetes 文档贡献者 · 作者与贡献记录 · CC BY 4.0。离线整理了版式、链接和媒体显示。

资料来源与适用范围

资料来源
Kubernetes 文档贡献者
适用范围
请按文中版本与环境说明核对
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-15
授权说明
CC BY 4.0

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。