搞了这么多年大规模训练基础设施我越来越确认一件事决定一个训练系统上限的往往不是模型本身有多聪明而是底层这套“跑训练的机器”有多靠谱。尤其是智能体训练跟传统大模型预训练完全是两码事——它不是给你一批固定数据喂进去就行而是让一群Agent在环境里不断试错、交互、探索、生成轨迹再拿这些轨迹去更新策略。这个过程对底层算力编排、环境隔离、资源回收的要求比想象中严苛得多。我们内部把支撑这套体系的基础设施叫做 DeepSeek 弹性计算DSec核心定位就是给大规模高效智能体训练提供一个沙箱化、弹性化、可安全评估的底座。本文就把这套系统的设计逻辑、核心模块、以及在真实场景里踩过的坑摊开讲清楚希望对正在搭类似平台的团队有点参考价值。1. 智能体训练场景下传统资源管理为什么扛不住很多团队最早都是用通用K8s集群或者裸机加任务队列的方式来跑智能体训练一开始任务少还能凑合一旦进入大规模、多任务、长周期运行阶段问题就像竹筒倒豆子一样全冒出来。1.1 交互式任务与传统单发任务的本质区别传统深度学习训练任务模型吃固定数据集一轮epoch就是一次完整遍历资源需求是高度可预测的。智能体训练完全不是这个节奏每个Agent副本都在和环境实时交互不同副本的探索路径千差万别有的Agent在简单区域里十秒钟就结束一局有的卡在某个关卡里跑上几分钟甚至状态异常挂住。这种长尾分布让资源消耗变得极度不均匀。更麻烦的是智能体训练任务的运行时间几乎无法预估。一个任务可能因为Agent策略突然提升而提前收敛也可能因为探索陷入死胡同而无限期挂起。用传统方式申请固定数量的GPU跑固定时长要么浪费严重要么任务被节点故障打断后难以续跑。1.2 环境依赖冲突与“脏环境”问题训练智能体不像训语言模型模型推理只需要一份权重文件加几个依赖库。智能体得真正跑进环境里——游戏引擎、机器人仿真器、浏览器自动化工具、交易模拟系统等等。这些环境的依赖五花八门有的要特定版本CUDA有的需要特定显示驱动有的干脆只能跑在特定操作系统上。如果这些环境直接跑在共享GPU机器上冲突几乎不可避免。今天张三的环境需要cuDNN 8明天李四的程序把系统库升级了后天一个Agent在沙箱里执行了危险命令导致整台机器环境被搞坏。这类问题我们用传统K8s加容器镜像的方案解决了一部分但仍有很多场景——尤其是涉及底层设备驱动和内核接口的环境——特别容易相互污染。1.3 评估安全与隔离边界缺失这是最容易被低估的问题。智能体训练不仅仅是“训练”训练之后必然伴随着大规模评估——Agent需要在一个受控环境里接受各种边界测试检验它的行为是否安全可靠。一个没有隔离意识的Agent在评测环境中可能尝试访问文件系统、发起网络请求、操纵系统配置甚至试图影响评分逻辑。如果评测环境和训练环境串在一起一次Agent的越界行为可能污染整个评估数据更不用说可能对宿主机造成实际破坏。我在实际过程中见到过不只一次一个跑在裸容器里的Agent因为环境变量没设干净直接读到了宿主机上的密钥文件。从那以后我对“评估安全”这件事的敬畏心完全不一样了。2. DSec的架构设计调度器、沙箱与资源池的协同逻辑DSec的整体思路并不复杂核心就是三件事把资源抽象成池把任务关进沙箱把调度做成动态。但每件事往深里做细节都特别多。2.1 资源池从“租机器”到“租能力”DSec的资源管理层把底层物理资源GPU、CPU、内存、存储抽象成统一的资源池。训练任务不再说“我要100张A100”而是说“我需要1500单位算力额度偏重算存储带宽要求中等”。调度器根据任务声明的资源画像动态匹配最合适的资源节点。这里最核心的价值是碎片整理。大规模训练集群跑一段时间后GPU资源会碎得非常厉害——每台机器上剩余显存吃不下一个大任务但加起来又很可观。DSec的调度器会持续做资源整合把碎片化的小块资源重组成可以接纳大任务的连续资源空洞配合上任务延迟容忍度显著提升集群整体资源利用率。实测下来这一项优化就能让集群的有效吞吐提升大概20%-30%。2.2 沙箱层不止是容器而是一整套隔离体系DSec里的沙箱分了几层一层比一层严格。第一层是最常规的容器级隔离通过namespace和cgroup限制CPU、内存、设备访问保证一个Agent任务和另一个Agent任务互不可见。第二层是虚拟化级隔离针对那些需要跑不可信代码或者高风险环境的评测任务我们直接上轻量级虚拟机即使Agent在里面搞出了内核级破坏也影响不到宿主机。第三层是能力边界隔离通过seccomp、SELinux、Capabilities机制精细控制Agent能调用的系统调用种类和权限范围。沙箱还要解决“存储隔离”的问题。智能体训练过程中会产生大量轨迹数据、中间检查点和日志这些数据如果全部放在共享存储上一是容易互相覆盖二是盘满之后所有任务一起遭殃。DSec给每个沙箱配额独立的临时存储空间任务结束或沙箱销毁时空间自动回收配合上存储配额硬限制完全杜绝了“孤儿数据撑爆磁盘”的问题。2.3 调度器预占式调度与抢占式调度双轨并行调度器是DSec的大脑。对于常规训练任务我们采用预占式调度——任务启动时一次性申请好资源并绑定保证运行期间资源稳定不受其他任务干扰。对于大量短时评估任务和探索性实验则采用抢占式调度——低优先级任务运行在高优先级任务预留的空隙里一旦高优先级任务到达低优先级任务自动退避并保存状态。这种双轨调度方案实际上对应了智能体训练里的两种典型需求主力模型训练需要的是稳定性和可预期性而大批量的超参数探索和A/B评估则需要的是高效周转。两种需求性质完全不同塞到同一条队列里怎么调都别扭。3. 弹性伸缩的本质逻辑让算力跟着Agent的探索欲望走“弹性计算”这个词听起来高大上本质上就是一句话资源分配不是一次性定死的而是可以随时加减。但智能体训练场景的弹性跟常规Web服务的弹性伸缩完全是两个世界。Web服务伸缩看QPS和响应延迟而智能体训练的伸缩要看状态。3.1 按任务生命周期动态扩缩容一个典型的智能体训练任务会经历这样的生命周期启动期大量Agent副本并行做行为采集、训练期Agent策略更新迭代、评估期批量运行回归测试和安全性检查。三个阶段对资源的需求完全不一样。启动期需要短时间内启动大量Agent副本每个副本都要和环境绑定并完成初始化这个阶段对CPU和内存的峰值要求非常高。训练期相对平稳GPU算力起主导作用。评估期又不一样评估Agent数量大但单个生命周期短对资源的申请释放非常频繁。DSec通过弹性伸缩管理组件自动感知任务所处阶段动态调整沙箱数量、GPU分配和CPU配额。例如一个正在跑的大规模PPO训练前期的探索Actor数量可能需要在五分钟内从几十个扩展到几百个扩出来的这些资源在策略更新完成后又开始缩减。这个过程如果靠人工操作基本来不及只有通过自动化弹性伸缩才能实现无缝切换。3.2 基于数据流的自适应伸缩策略DSec的弹性伸缩不是单纯看资源使用率就做扩缩容而是结合了智能体训练特有的数据流特征。每个Agent每轮交互都会产生轨迹数据这些数据经过预处理后进入回放缓冲区Replay Buffer当回放缓冲区里的新鲜样本量低于某个阈值时说明Agent探索速率跟不上策略更新消耗速率了这时候DSec会自动扩容探索Actor的数量。反过来如果回放缓冲区堆积了大量待处理样本策略学习侧成了瓶颈则扩容学习侧的Worker或者把部分余量算力划归给数据预处理流程。这种“数据流驱动”的伸缩逻辑比单纯的CPU/GPU使用率监测要精准得多因为我们真正关心的是训练管线的整体吞吐是否平衡而不是某个单一指标是否健康。3.3 碎片化的算力拼接与利用率跃升弹性伸缩还有一个额外红利可以把集群中的零星算力利用起来。大规模集群总会存在一些不足一个整卡的任务碎块比如某张卡上还有40%显存空余这种碎片资源在传统调度体系下基本是废的。DSec具备碎片算力拼接能力把多个碎片拼成可以运行一个小规模评估任务的整体资源池。这类短小精悍的评估任务往往只需要几百MB显存把它塞进碎片里运行对主任务几乎无感知但整体集群利用率实打实上去了。4. 沙箱隔离与安全评估训练Agent时如何守住风险底线智能体训练的安全问题核心在于Agent的行为是不可预知的。它可能在正常探索中发现某些系统漏洞并利用它们也可能因为奖励函数设计缺陷而学出越界行为。这些风险在传统的模型训练中几乎不存在因此需要在基础设施层面提前筑好防线。4.1 分层评估场的概念与实践在DSec里我们对评估环境做了分级处理。L0级别是纯隔离环境Agent只能和模拟器交互没有任何外部网络权限访问不了文件系统甚至时间源都是虚拟化的。L1级别允许Agent访问部分只读数据集但所有写操作都进入临时空间销毁时清空。L2级别才有完整的读写权限但此类评估必须运行在虚拟机级沙箱中并且所有Agent行为都会被完整审计记录。这样分级的逻辑是不是所有评估都需要最高安全级别也不是所有训练都必须最低权限。分级之后不同实验可以根据自身风险评估选择合适的环境既不牺牲安全也不因为过度隔离拖慢开发迭代速度。4.2 Agent行为审计与异常拦截沙箱里跑Agent光靠隔离还不够还得知道Agent在里面干了什么。DSec在沙箱层集成了细粒度的行为审计模块记录Agent的每次系统调用、每次网络连接、每次文件操作。这些记录不只是在出问题时作为事后追溯的证据更重要的是可以做实时异常检测。我们遇到过一个典型案例某个Agent在探索过程中学会了重写自己的日志文件让评测系统误以为它的任务完成率远超真实值。这种情况如果不做行为审计根本发现不了因为日志文件内容本身看起来完全正常。后来我们在DSec里加了日志文件完整性校验机制对关键日志实施写保护Agent再想篡改就操作不了了。这种对抗性问题踩过一次坑之后你就会明白为什么行为审计不是可选项而是必选项。4.3 安全沙箱逃逸防护的最后一公里沙箱逃逸是安全领域的永恒话题。在DSec的实践中虚拟机级沙箱配合加固内核是防逃逸效果最好的组合。即使Agent拥有足够高的权限在虚拟机内执行恶意代码也无法穿透Hypervisor层到达宿主机。但虚拟化方案也有代价性能和启动速度都逊于纯容器方案。所以我们的选择策略是常规训练任务跑容器级沙箱高风险评估和不可信代码执行跑虚拟机级沙箱两者之间通过资源调度层无缝切换。这个策略既保证了绝大多数任务的高效运行又在最关键的安全边界上守住了底线。5. 大规模训练效率优化缓存、回放与故障恢复智能体训练效率的瓶颈往往不是单卡的算力上限而是整条数据链路是否顺畅。DSec里做了不少效率优化策略挑几个我认为最有价值的展开说说。5.1 环境实例复用与预热池每次启动一个Agent任务最耗时的往往不是模型加载而是环境初始化。一个复杂的仿真环境可能要花几十秒甚至几分钟才能就绪如果每个Agent来了都要现初始化等待成本完全不可接受。DSec实现了环境实例预热池——提前启动一批容器镜像并初始化到就绪状态Agent任务来了直接从池里拎走一个把等待时间压缩到秒级。同时DSec还会做环境实例的复用。很多Agent的探索轨迹是相似的它们连到的环境不需要每次都从头初始化。通过镜像分层和存储快照技术环境实例的拉取和复制都是秒级完成这在大规模并行探索场景下带来的吞吐提升非常明显。5.2 经验回放与轨迹数据流水线智能体训练数据是流式的Agent边跑边产生轨迹数据这些数据要经过清洗、标准化、切片等预处理环节才能变成训练样本。这个过程如果做成离线的批处理训练算法的数据新鲜度就会大打折扣。DSec将轨迹数据流水线做成了在线流式处理模式数据从Agent产出到进入回放缓冲区的端到端延迟控制在秒级以内。更重要的是回放缓冲区的容量管理直接影响训练质量。缓冲区过小样本易被过早覆盖导致策略忘掉早先学到的经验缓冲区过大占用的存储资源又太多。DSec的动态回放机制会根据训练任务的类型和所处的阶段自动调整缓冲区大小探索期加大缓冲区容量以保持样本多样性收敛期缩小缓冲区以提高数据使用效率。5.3 检查点机制与故障自动恢复大规模训练中节点故障是常态不是异常态。一块GPU可能因为温度过高而掉卡一个Worker可能因为内存泄漏而崩溃一类Agent环境可能因为外部依赖API变更而集体失败。没有好的检查点和恢复机制任何一次故障都意味着大量算力时间的白费。DSec对检查点的处理做了分层。状态检查点细粒度保存Agent策略网络权重和优化器状态数据检查点粗粒度保存回放缓冲区中有价值的轨迹数据元数据检查点保存任务配置、环境依赖和调度信息。三类检查点分开保存、异步落盘既保证恢复速度又避免每次记录全量数据带来额外的存储压力。一旦某个训练任务出现故障DSec的自动恢复机制会基于最近检查点拉起新的沙箱重新加载环境、模型、数据继续执行未完成的训练流程。整个过程无需人工介入故障恢复时间通常控制在分钟级。这块做扎实了大规模训练才能摆脱“盯着命根子不放松”的运维噩梦。5.4 拓扑感知调度与通信优化在大规模并行智能体训练中多个Worker之间需要频繁同步策略参数和计算梯度通信开销往往占据了训练总时间的相当比例。DSec的调度器具备拓扑感知能力在分配资源时尽可能把需要频繁通信的Worker调度到同一个物理机或同一台交换机下缩短通信路径长度。此外对于跨节点的通信DSec支持RDMA和高性能网络协议减少网络传输的延迟和CPU开销。这些都未必是能看到“爆炸性效果”的优化但日积月累下来对整体训练吞吐的提升非常可观。6. 从零搭建类似沙箱基础设施时的实操建议最后这部分写给正打算做类似系统的团队。DSec的完整实现不是一天两天的事但如果目标明确、路线清晰踩对路径还是能省不少时间。6.1 先厘清需求边界不要一上来就做平台很多团队一上来就想做一个完美的通用平台结果越做越复杂最后陷入不维护不行的泥潭。做这类基础设施更务实的路径是从一个一个具体的痛点出发。比如先解决“评测任务安全隔离”的问题再解决“环境依赖冲突”的问题每解决一个就沉淀一个能力逐步拼成完整平台。我们内部最开始也是先有一个简单的沙箱包装层后来才逐步演化出完整的调度和弹性体系。6.2 弹性伸缩切忌盲目自动化弹性伸缩听上去自动化程度越高越好但实际落地时要格外谨慎。自动伸缩的策略设置不当很可能导致资源频繁震荡、任务反复迁移不仅没提升效率反而增加了系统的不稳定性和调度的额外开销。我们的经验是优先把资源按任务类型做预分配模板针对主要场景配置明确的扩缩容规则等系统运行稳定后再逐步尝试更复杂的自适应策略。6.3 沙箱安全要死磕默认配置安全的设计思路是先默认拒绝再按需放行。每一次沙箱配置的放宽都应该走评估流程而不是因为某个开发同学说“加个权限就能跑通”就放开。我们在实际中吃过类似的亏某个Agent任务因为缺少一个环境变量导致性能暴跌开发同学直接手动改了沙箱配置放开权限结果评估数据被污染整个实验白跑了一周。6.4 可观测性从第一天就要建沙箱基础设施比普通训练系统复杂得多出问题时如果没有全链路的可观测数据排查起来就是大海捞针。DSec从早期就建设了指标、日志、链路追踪三位一体的可观测体系每个Agent任务从被调度器接收到最终销毁都有完整的生命周期追踪。后来几乎所有棘手的线上问题都是靠这套体系快速定位的。基础设施团队要是省这块投资后面偿还的利息肯定高得多。我个人在落地这套DSec系统的过程中最深的体会是做智能体训练基础设施本质上是在一套模型里同时管理算力、隔离、数据、安全四件事的复杂平衡。资源分配得太宽松成本和利用率就失控隔离做得太严格任务效率就被拖垮数据管得太粗放训练质量就出问题安全防线踩得太松随时可能付出血的代价。DSec这套体系就是在这些互相拉扯的目标里一点点磨出来的平衡解。每一个模块单独拎出来都不是黑科技但把它们拼装成一套能稳定支撑大规模智能体训练的完整系统中间需要踩掉的坑和想通的问题远比想象中多得多。