大模型压缩技术突破：Nemotron-75B实现吞吐量翻倍的部署优化

在大模型部署的实际应用中，计算资源消耗和推理速度一直是制约大规模语言模型落地的关键瓶颈。NVIDIA最新发布的Nemotron-Labs-3-Puzzle-75B-A9B模型通过创新的压缩技术，成功将120.7B参数的Nemotron-3-Super压缩至75.3B参数，同时实现了吞吐量翻倍的突破性进展。本文将深入解析这一技术突破的核心原理、实现细节以及对实际部署的深远影响。

1. 模型压缩的技术背景与挑战

1.1 大模型部署的现实困境

当前大型语言模型在推理部署时面临多重挑战。以Nemotron-3-Super为例，其120.7B的总参数和12.8B的激活参数对显存带宽和计算资源提出了极高要求。在实际服务场景中，即使是高端GPU集群也难以在保证响应速度的同时实现高并发处理。

传统模型压缩方法如剪枝、量化虽然能在一定程度上减小模型体积，但往往伴随着显著的性能损失。特别是在需要保持模型多任务能力的场景下，简单的均匀压缩策略难以平衡不同任务间的性能需求。

1.2 混合专家模型压缩的特殊性

Nemotron-3-Super采用混合架构，包含40个Mamba块、40个MoE块和8个注意力块。这种混合设计在提升模型能力的同时，也为压缩带来了独特挑战。MoE层中的专家路由机制使得不同token激活的参数量存在差异，传统的层间均匀压缩策略在这种架构下效果有限。

2. Iterative Puzzle压缩算法详解

2.1 算法核心思想

Iterative Puzzle算法的核心创新在于将单次压缩过程分解为多个渐进式压缩-恢复阶段。与直接求解最终目标架构不同，该方法构建了一个逐步压缩的模型序列。

算法数学表示为：设M₀为原始预训练模型，T为用于蒸馏的教师模型。Iterative Puzzle构建模型序列M₀→M₁→⋯→M_R，每个步骤应用有限度的结构压缩，然后进行恢复阶段。

在第r次迭代中，算法围绕当前模型M_{r-1}构建Puzzle搜索空间，并在该模型上下文中评估候选替换。然后在增量剪枝预算下求解Puzzle优化问题，生成压缩的中间模型M̃_r。最后使用教师模型T通过短知识蒸馏阶段修复M̃_r，并将恢复后的模型设置为下一轮的起点：M_r=Heal(M̃_r,T)。

2.2 三阶段压缩实施细节

在实际实施中，研究团队采用了三个压缩-恢复阶段，每个阶段针对不同的压缩维度：

第一阶段：将MoE权重压缩至教师容量的75%，并将Mamba SSM状态大小修剪至教师的75%。生成的模型使用24B token进行恢复。

第二阶段：进一步将MoE权重压缩至教师容量的60%，模型使用43.2B token进行恢复。

第三阶段：将激活的路由专家预算约束为教师的50%，允许Puzzle在层间异质分配该预算。最终模型使用52.8B token进行恢复。

2.3 层间异质分配策略

Puzzle算法最显著的特点是实现了层间的异质容量分配。通过计算每层相对教师容量的比例ρ_l=(k_l·d_l)/(k_T·d_T)，其中k_l是激活的路由专家数量，d_l是路由专家中间大小，可以直观看到压缩后的模型并非均匀缩小的教师模型。

实际结果显示，最终架构在许多层进行了激进修剪，同时在选定的中间层和后期层保留了显著更多的路由容量。这种基于层敏感度的分配策略是保持模型性能的关键。

3. 知识蒸馏与恢复阶段

3.1 多层次蒸馏策略

在Iterative Puzzle阶段和后续恢复阶段都应用了知识蒸馏。两个阶段的训练均在混合数据集上进行，包含30%的预训练数据和70%来自Nemotron-3-Nano的监督微调数据。

在Iterative Puzzle阶段，每次压缩迭代后都进行KD步骤，学生模型被训练以匹配原始Nemotron Super模型的logits。此蒸馏持续到观察到初始恢复为止，序列长度为32K，实现在中间压缩阶段的有效对齐。

在恢复阶段，将蒸馏扩展到更长上下文以进一步恢复模型性能。训练从128K序列长度开始，随后扩展到512K token。与早期阶段一样，使用Super模型的logits进行蒸馏。

3.2 强化学习恢复

在KD阶段之后，应用强化学习后训练阶段，旨在恢复对压缩特别敏感的能力。实证观察发现软件工程性能下降最为显著，因此将RL工作重点放在恢复此能力上。

采用Nemotron-3-Super RL管道的第2阶段来针对软件工程任务。此阶段分为两个阶段：阶段2.1专注于单步工具使用比较，每个提示生成16个rollout；阶段2.2过渡到利用隔离环境的完整端到端沙盒RL，代理最多可执行200轮。

4. 量化与部署优化

4.1 多精度量化方案

应用训练后量化产生两个量化检查点：针对Hopper级GPU的FP8 W8A8检查点和针对Blackwell级GPU的NVFP4 W4A4检查点。

对于FP8检查点，遵循Nemotron-3-Super-120B-A12B-FP8 PTQ配方。在校准过程中，主要计算密集型算子被量化为FP8，特别是MoE GEMM（包括路由和共享专家）和Mamba线性层。KV缓存量化为FP8以减少内存开销。

对于NVFP4检查点，采用类似方法但根据层类型决定量化级别。嵌入、注意力QKV/输出投影GEMM、MoE潜在投影GEMM、Mamba 1D卷积和LM头保持在BF16，路由器保持在FP32。

4.2 多令牌预测优化

Puzzle-75B-A9B继承了通过多令牌预测头的原生推测解码支持。与训练多个独立头的标准MTP实现不同，Puzzle-75B-A9B使用共享MTP头公式：在训练期间跨MTP步骤共享参数，产生单个预测头，该头暴露于多个偏移量，并可以在推理时递归应用。

为提高MTP准确性，继续训练转移的MTP头，使用旨在使共享MTP头对训练-推理失配更鲁棒的训练方案。这一改进使平均接受长度相比Super提高了25%-30%。

5. 性能评估与结果分析

5.1 准确性基准测试

在涵盖推理、编码、长上下文理解、多语言性、指令跟随和代理行为的多样化评估套件中，Puzzle-75B-A9B尽管进行了大幅架构压缩和面向部署的优化，仍保留了父模型的大部分能力。

在推理和编码基准测试中，Puzzle-75B-A9B与教师模型保持高度竞争力，在HMMT、GPQA、LiveCodeBench、AIME25和SciCode上保持接近教师的性能。即使在激进的NVFP4量化下，这些能力仍然稳健。

在长上下文性能方面，压缩模型在256K、512K和1M上下文长度的RULER评估中，与父模型相差大致1-2分，而NVFP4检查点紧密跟踪BF16性能。

5.2 吞吐量提升分析

在固定每秒100用户token的操作点下，不带推测解码的Puzzle-75B-A9B实现了相比Super的2.18×吞吐量提升，同时保持几乎相同的基准准确性（70.74% vs. 71.93%）。启用多令牌预测进一步将吞吐量提升至Super的4.85×。

在交互式服务设置中，Puzzle-75B-A9B在匹配用户吞吐量约束下实现了大致2×的吞吐量提升。在8×B200节点上，对于50K/2K场景，在UT≥100 token/s时达到1.60×提升；对于8K/64K场景，在UT≥125 token/s时达到2.14×提升。

5.3 分离式预填充修剪

研究还探索了预填充-解码分离是否启用额外的部署特定压缩轴。在这种设置下，解码模型保持完整的Puzzle-75B-A9B检查点，而使用较小的仅预填充模型处理提示并生成解码模型消耗的KV缓存和Mamba SSM状态。

评估了两个预填充修剪变体，它们减少预填充MoE top-k和模型的嵌入维度，并联合训练预填充和解码模型以保持跨预填充-解码边界的状态兼容性。两个变体在保持大部分基准质量的同时，将预填充密集的50K/1K服务吞吐量相比相同模型Puzzle-75B-A9B基线提高了5-7%。

6. 实际部署考量

6.1 硬件配置建议

对于生产环境部署，推荐以下硬件配置：

主要目标：单8×B200节点 - NVFP4权重，FP8 KV缓存，带随机舍入的FP16 Mamba SSM状态。

备选方案：单8×H100节点 - FP8权重，FP8 KV缓存，FP32 Mamba SSM状态。

长上下文场景：单H100 GPU（1M上下文目标） - NVFP4权重，FP8 KV缓存，FP32 Mamba SSM状态。

6.2 服务配置优化

在实际服务中，需要根据不同的输入/输出token长度场景优化配置。建议使用帕累托优化方法，在张量并行度TP∈{1,2,4,8}上扫描，包括EP开启和EP关闭变体，以及从1到该并行化策略内存中适合的最大批处理大小的批处理大小网格。

对于每个配置，计算(UT, TPS)平面上的帕累托边界：在每个用户吞吐量水平下，帕累托最优点是在该UT下最大化总吞吐量的配置。

6.3 内存与计算平衡

在内存受限的场景中，如单GPU部署1M上下文，NVFP4量化特别有益，因为HBM容量是绑定约束。在这种情况下，即使NVFP4在Hopper上不是原生支持，由于其显著的内存节省优势，仍然推荐使用。

7. 技术影响与未来展望

7.1 对行业的影响

Nemotron-Labs-3-Puzzle-75B-A9B的成功压缩证明了大型混合MoE模型可以在保持强下游能力的同时大幅压缩，显著提高部署效率。这一突破为在多样化推理环境中可扩展部署前沿规模LLM提供了实用路径。

在实际业务场景中，这意味着相同硬件基础设施下可以服务更多用户，显著降低了大模型部署的总体拥有成本。对于需要实时响应的应用场景，如智能客服、代码生成和内容创作，吞吐量的提升直接转化为用户体验的改善。

7.2 技术发展趋势

Iterative Puzzle方法为模型压缩领域开辟了新方向。未来的工作可能包括更激进的使用Iterative Puzzle，结合扩展当前修剪技术，以实现极端LLM压缩 - 在保持强模型准确性的同时达到更高的压缩率。

此外，分离式预填充-解码架构的探索表明，针对不同推理阶段的特点进行专门优化具有巨大潜力。这种异构压缩策略可能成为未来大模型部署的标准实践。

7.3 开发者实践建议

对于计划在生产环境中部署类似压缩模型的开发者，建议采取以下实践：

首先，充分理解自身业务场景的推理特点，识别是预填充密集型还是解码密集型的 workload，据此选择适当的压缩策略和硬件配置。

其次，建立完善的评估体系，不仅关注常规基准测试性能，还要针对特定业务场景设计定制化评估指标，确保压缩后的模型在真实使用场景中保持可用性。

最后，考虑采用渐进式部署策略，先在部分流量上验证压缩模型的表现，逐步扩大部署范围，确保服务稳定性和用户体验。

这一技术突破标志着大模型部署进入了新的阶段，从单纯追求模型规模转向更注重实际部署效率的平衡发展。随着压缩技术的不断成熟，预计未来会有更多类似的高效模型出现，进一步推动AI技术在各行业的广泛应用。