Karpenter 自动调度 | GPU 节点管理 | ALB Ingress | EBS Snapshot 模型挂载 | 踩坑记录

概述

在 EKS 上部署 GPU 推理服务的完整流程，使用 Karpenter 自动管理 GPU 节点，ALB Ingress 暴露服务，适用于 AI 推理、图像处理、语音转录等场景。

架构

用户请求 │ ▼ ALB (HTTPS, 共享 Ingress Group) │ ▼ K8s Service (ClusterIP) │ ▼ Pod (GPU 容器) │ ▼ GPU 节点 (Karpenter 自动创建/回收) ├── g5.xlarge (A10G, 24GB) ├── g6.xlarge (L4, 24GB) └── g4dn.xlarge (T4, 16GB)

组件清单