搞模型训练这些年“Model-Optimizer”这个方向是我最愿意花时间研究的。原因很简单同样的模型结构、同样的数据换一种优化方式或者调几个参数训练出来的效果可以天差地别。这个词表面上是“优化器”但它从来不只对应 Adam、SGD 这些参数更新算法而是覆盖了从训练阶段的学习率调度、梯度裁剪、混合精度到推理阶段的量化、剪枝、算子融合的完整优化链条。这篇文章就是围绕这条链来写的我会把选型逻辑、参数依据、实操步骤和排查经验串起来适合正在调模型但总感觉训练不稳定、收敛慢、显存不够或者想进一步压低推理延迟的工程师参考。里面给的配置都不是“推荐配置”而是我真实跑过、验证过的方案。1. 先拆开 Model-Optimizer优化器、调参和工程优化是一件事1.1 训练优化器只是最表层的“优化”很多人提到 Model-Optimizer第一反应就是 PyTorch 里torch.optim那个模块SGD、Adam 选一个然后把 learning rate 设成默认值就开跑了。但实际上优化器只是“参数更新策略”真正决定训练效果的是优化器、学习率调度、附加约束、数据管线、混合精度这一整套东西的配合。我见过太多例子模型是同一个模型数据是同一份数据结果一个项目用了 Adam 默认参数直接发散了另一个项目把学习率调小一个数量级就训练得很好。问题不在优化器对不对而在使用优化器时周围的环境不一样。举个个直观的例子优化器像是方向盘学习率是油门梯度裁剪是刹车。方向盘选错了车一定跑不直但方向对了、油门刹车配合错照样翻车。所以我在自己的实践里不太建议把“选哪个优化器”当成孤立问题。你选的优化器必须和模型结构、batch size、学习率调度方式、甚至硬件精度绑在一起看。比如做 ResNet 分类用 SGD 很稳差不多的结构换到 Transformer 上SGD 就明显不如 AdamW 好训这不是运气是算法特性和目标函数的曲率分布决定的。1.2 我把 Model-Optimizer 拆成三个层次如果让我给 Model-Optimizer 下一个完整的定义我会把它拆成三层训练算法层优化器选型、损失函数、学习率预热与衰减、梯度裁剪、EMA 等。训练工程层混合精度、分布式并行、显存优化、数据加载吞吐这些看似与优化器无关却直接决定优化器能不能好好工作。推理部署层模型蒸馏、剪枝、量化、算子融合属于模型上线前的压缩与加速。这三层不是互相独立的。训练工程层最容易例子开混合精度训练时如果用了 FP16 而没有 loss scaling梯度会下溢成 0模型看起来“不收敛”但根因不在优化器在数值精度推理侧的量化如果训练时没有做任何量化感知处理模型压到 INT8 后掉点严重又得回头重新训练。这些环节全都在同一个链条上Model-Optimizer 就是要站在系统视角把这几个层次串起来优化而不是只盯着参数更新算法看。2. 主流优化算法选型逻辑与原理拆解2.1 SGD Momentum最可靠的底线方案先把 SGD 说清楚。最原始的随机梯度下降更新公式很简单w w - lr * grad它的每一步都严格按照当前样本的梯度方向走没有任何“平滑”机制。实际训练里比较常用的是带 Momentum 的版本核心思想是把历史梯度“滚雪球”式地累积进来类似一个小球从山坡滚下不会因为局部颠簸频繁变向从而能更快越过平缓区。更新逻辑用伪代码表示就是这样v momentum * v - lr * grad w w vmomentum通常取 0.9你调整学习率时这个累积速度也会被放大所以 SGD 做长训练非常稳定。我的经验里图像分类、目标检测、图像分割这些 CV 任务SGD Momentum 常常比 Adam 更省心尤其是配合 BatchNorm 的模型。一个我常用的配置是lr0.1batch size256 时、momentum0.9、weight_decay1e-4配合余弦退火能跑出非常好的结果。但它也有明显的短板对高度非平稳的目标函数比较吃力。Transformer 这类模型 loss 曲面变化剧烈训练初期梯度方向很不稳定SGD 经常需要非常精细的初始化才能训起来。所以我的底线建议是没有把握的任务先用 SGD 跑通一个 baseline再考虑换别的。这是因为 SGD 的失败多半能给出清晰的调试信号而自适应优化器一旦出问题反而更难排查。2.2 Adam 与 AdamW默认选项背后的真相Adam 是现在使用最普遍的优化器也是 “Model-Optimizer” 这个项目里入坑最常见的起点。它的核心机制是同时维护两个动量一阶动量记录历史梯度的平均方向二阶动量记录历史梯度平方的平均大小。更新时用一阶动量做方向用二阶动量做“步长缩放”梯度大的参数更新小一点梯度小的参数更新大一点这就是“自适应学习率”的含义。但注意Adam 早期步数少动量的估计偏差很大所以原始论文里专门做了偏差校正。现在框架里的torch.optim.Adam都会自动处理这一点。AdamW 又在它的基础上做了一处重要修改把权重衰减从梯度里拆出来不参与二阶动量的分母计算。为什么这一点关键因为传统 L2 正则化会把weight_decay * w这个项加进梯度然后被二阶动量缩小导致正则项被“吃掉”。AdamW 直接对参数做独立衰减泛化性能明显更好。如果你只记一个默认选择我的建议是Transformer 类模型用 AdamW卷积类 CV 任务从 SGDMomentum 起步。微调 BERT 或 GPT 类模型AdamW weight_decay0.01 小学习率 2e-5 到 5e-5 是一个极其稳定的起点。Adam 虽然收敛快但很多情况下它找到的解泛化精度不如 SGD所以不要把它当成万能默认值。提示遇到“默认配置训练效果不行”时先不要急着研究 Adam 的超参把学习率调低一个数量级试一下效果往往比调 betas 和 eps 来得更直接。2.3 大模型时代LAMB、LARS 和 Sophia当 batch size 变得特别大比如做大规模预训练动辄上万甚至几十万的 batch普通优化器会在并行通信和数值稳定性上出问题。其中最典型的现象是学习率稍微调大loss 直接发散调小训练又慢到不可接受。这背后是因为大批量条件下每个 batch 的梯度方向偏差变小但参数更新步长如果按单批量最佳学习率线性放大数值稳定性就崩了。LAMB 这类优化器解决的就是这个问题它会给每一层单独计算一个自适应的学习率缩放系数允许在超大批量下使用比 AdamW 大得多的学习率同时保持稳定。LARS 的思路类似但最初更多用在 CNN 的分布式训练上。我自己的经验是如果你只是做单机多卡、batch size 在 256 到 1024 之间还不需要上 LAMB真正需要它的是那种动辄上万 batch 的预训练任务。Sophia 则是比较新的二阶优化器利用了对角 Hessian 信息收敛步数可以明显减少但显存和实现复杂度更高我不会直接在正式项目里贸然使用至少先在小模型上验证收益。我把选型逻辑整理成了一张表方便快速对照优化器核心机制代表性场景我的建议SGD Momentum动量平滑梯度图像分类、目标检测lr 按 0.1 * bs / 256 线性缩放Adam一阶二阶动量自适应通用任务、序列模型配合 warmup 与梯度裁剪使用AdamWAdam 解耦权重衰减Transformer 预训练与微调weight_decay 从 0.01 起步LAMB逐层自适应学习率超大批量预训练上万 batch 再考虑Sophia二阶信息近似更新超大规模语言模型先小规模验证再上全量3. 训练过程中决定效果的“隐藏开关”3.1 学习率预热与余弦退火说优化器不能单独存在最典型的就是学习率调度。许多训练失败根因不是优化器没用对而是学习率调度没配合好。特别是 Transformer 模型训练初期参数还处于随机状态前几步梯度方向噪音很大如果一开始就把学习率拉满参数会被推到十分恶劣的区域后面再难恢复。预热warmup就是先让学习率从很小慢慢升到目标值给模型一个“热身”过程。类比一下汽车起步你不会在冷车状态下直接一脚油门踩到底先低速跑一段再加速发动机和轮胎状态都不一样。预热也是这个道理常见的做法是占整个训练步数的 1% 到 10%。CV 模型我习惯用“固定 5 个 epoch 预热 余弦退火”Transformer 大模型则更容易用“固定步数预热”比如前 2000 步从 0 升到峰值。余弦退火也不复杂就是学习率按余弦曲线从峰值平滑下降到接近 0。后期学习率小参数更新扰动小更容易落到一个平坦且泛化好的区域。如果你用 PyTorch可以用CosineAnnealingLR也可以用带重启的CosineAnnealingWarmRestarts。带重启的版本会在训练中把学习率突然拉高再衰减类似让模型跳出局部沟壑但训练时长也会相应拉长不是所有任务都划算。3.2 梯度裁剪、EMA 和权重衰减这三个东西是“隐藏开关”里最重要的也是最容易被忽略的。先说梯度裁剪。训练 Transformer 或使用混合精度时我几乎必开梯度裁剪。它的实现很简单如果一个 batch 的全局梯度范数超过阈值就按比例缩放。PyTorch 里一行代码torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。为什么用小阈值而不是大家常说的 5.0 或 10.0我测试过Transformer 训练时把 max_norm 设为 1.0 通常已经足够偶尔 0.5 效果更好它能阻止单个异常 batch 毁掉整轮训练。EMA也就是指数移动平均我会在训练过程中维护一份参数的影子副本每个 step 把旧影子权重和最新权重按比例混合shadow decay * shadow (1 - decay) * param。decay 取 0.999 到 0.9999。训练结束后用影子权重做验证和推理精度往往比原始权重高一点。注意一个细节训练 BatchNorm 时要用实际参数推理时再用 EMA 参数否则统计量会不准确。权重衰减在 Adam 时代就得谨慎。用 AdamW 的weight_decay0.01很常见但很多人用的是旧版torch.optim.Adam加weight_decay那是把 L2 正则项塞进梯度里和 AdamW 的解耦机制是完全不同的。旧写法如果也设 0.01效果会差很多通常要调小一到两个数量级。我用代码检查过不少项目发现太多人栽在这个隐藏在 API 底下的区别里。3.3 一份可以直接抄的训练配置下面表格里的配置是我在真实项目中验证过、可以当作起点的设置任务类型优化器初始学习率预热策略weight_decay梯度裁剪ResNet 图像分类SGD Momentum0.1batch 2565 epochs1e-4不做或 5.0目标检测SGD Momentum0.021000 steps1e-410.0BERT 微调AdamW2e-5 ~ 5e-510% steps0.011.0GPT 风格预训练AdamW3e-4 ~ 1e-32000 ~ 10000 steps0.01 或更高1.0SGD 的学习率不是随便定的通常按 batch size 线性缩放batch size 翻倍学习率也翻倍。我这么做先把目标 lr 设为“0.1 × (实际 batch size / 256)”同时把预热步数也按比例增加避免大 batch 在预热期就冲过头。给你一个组合了预热和余弦退火的 PyTorch 配置参考import torch from torch.optim import AdamW from torch.optim.lr_scheduler import LinearLR, CosineAnnealingLR, SequentialLR total_steps len(train_loader) * epochs warmup_steps int(0.05 * total_steps) optimizer AdamW(model.parameters(), lr3e-4, weight_decay0.01) warmup LinearLR(optimizer, start_factor0.1, total_iterswarmup_steps) decay CosineAnnealingLR(optimizer, T_maxtotal_steps - warmup_steps) scheduler SequentialLR(optimizer, schedulers[warmup, decay], milestones[warmup_steps]) scaler torch.cuda.amp.GradScaler()这只是骨架但如果你正在起步阶段照这个结构搭起来后面调参会比“一个优化器干到底”顺畅很多。关键是在每个 step 内正确调用scaler.scale(loss).backward()、scaler.unscale_(optimizer)、clip_grad_norm_、scaler.step(optimizer)、scaler.update()逻辑顺序错一个都会影响结果。4. 推理侧模型优化压缩、量化和性能加速4.1 模型剪枝与蒸馏显存不足时的瘦身思路训练完模型只是第一步很多时候真正让人头疼的是模型太大、线上推理扛不住。这时候 Model-Optimizer 的重点就从“训练参数更新”切换到“模型瘦身与压缩”。先讲剪枝。剪枝的核心是去掉不重要的权重或通道。非结构化剪枝把不重要的单个权重置零精度保留不错但普通推理框架很难加速除非硬件支持稀疏计算结构化剪枝直接剪掉某些通道甚至整个卷积核模型结构变小了几乎任何框架都能获益但如果剪过头精度掉得也很厉害。我一般建议先做结构化剪枝从通道保留率 0.75 开始尝试剪完用少量 epoch 微调恢复精度再决定要不要进一步剪到 0.5。蒸馏是另一种思路训练一个小的 student 模型让它模仿大的 teacher 模型的输出分布。学习目标通常是 teacher 的软化概率分布加上真实标签的交叉熵。我的经验是蒸馏在 NLP 任务上效果尤其明显像 BERT 蒸馏成 TinyBERT 后线上延迟降一半精度只损失一点点。整体压缩流程我会先蒸馏、再结构化剪枝、最后量化这个顺序试下来最稳。4.2 量化PTQ 还是 QAT量化可以把模型从 FP32 压到 INT8显存和推理速度都能得到大幅度提升。但“能不能保留精度”完全取决于你选哪条路。PTQ训练后量化是用少量校准数据统计激活值的分布确定 scale 和 zero point然后直接转换。优点是不用重新训练几分钟搞定适合快速上线缺点是如果模型对数值敏感精度掉得会很明显。QAT量化感知训练是在训练阶段就模拟量化误差让模型提前适应低精度精度要好很多但代价是需要训练时间。选型上我的判断很简单图像分类模型 PTQ 基本够用目标检测、分割、Transformer 类模型直接上 QAT 更省事省得来回验证。量化配置里值得注意的还有 per-channel 通常比 per-tensor 好对称量化实现简单但非对称可能更准。另外模型第一层和最后一层、残差连接的加和节点这些敏感层建议保留 FP16 或 FP32能避免很多莫名其妙的掉点。提示做 PTQ 校准数据时用一小部分真实验证集而不是训练集数量在 200 到 500 个样本就够。校准数据与线上分布偏差过大量化阈值会非常不准。4.3 推理引擎与算子融合模型压缩之后还有一个“免费”的加速手段算子融合。它的原理是把多个相邻小算子合并成一个 kernel减少显存读写次数和 kernel 启动开销。最经典的例子是 Conv BatchNorm ReLU 融合成单次计算还有 Transformer 里的 LayerNorm 融合。你可能已经用过 ONNX Runtime、TensorRT、OpenVINO 这类推理引擎它们内部就是大量做算子融合。我的建议是先用 profiler 看一下模型推理时的耗时分布找到占比最高的那几个算子再去配置引擎的优化选项而不是一股脑开所有优化收益可能不如针对性处理。动态 shape 也要留意如果你在线上频繁改变输入长度推理引擎每次都要重新做图优化开销很大。线上固定 batch 或把输入长度分桶能显著提升吞吐。5. 实测遇到的高频问题与排查技巧5.1 训练 loss 不降或者震荡这个问题我接手过太多次了。先给出一份靠谱的排查顺序不要一上来就怀疑优化器先用一个小数据集跑过拟合比如几千个样本看 loss 能不能降到很低。如果小数据都过拟合不了那基本是模型结构或 loss 定义有问题和优化器无关。检查初始学习率太大容易震荡太小收敛慢到肉眼看不见。我习惯先在 1e-4 到 1e-2 之间做一轮简短的网格搜索。确认数据 shuffle、标签映射、loss 的计算方向是否正确尤其是分类任务用 CrossEntropy 和回归任务用 MSE 时。观察梯度范数曲线。梯度长期极小大概率是初始化或梯度消失梯度极大且剧烈抖动则是爆炸的前兆。最后才调优化器参数比如 betas、eps、weight_decay。以前有个 CV 项目模型 loss 前三个 epoch 都在震荡我盯着模型和超参查了一整天。最后发现是目标检测的 anchor 匹配逻辑写错了前 2000 个 step 学习的全是背景负样本。这再次说明训练问题里优化器往往是替罪羊正确顺序是先把数据、模型、loss 排查干净。5.2 训练出现 NaN / InfNaN 大概是训练里最让人头大的问题之一出现 NaN 不等于就是“学习率太大”。常见原因有这么几种FP16 混合精度下 loss 过大导致梯度溢出变成 Inf。对策是启用 loss scaling或者直接改用 BF16BF16 比 FP16 的动态范围大得多基本天然免疫溢出。梯度爆炸。先加梯度裁剪再把学习率降下来。输入数据本身就含有 NaN 或 Inf检查 dataloader 比检查模型更快。Adam 的 eps 设置太小在低精度计算下分母接近 0。遇到这种情况可以把 eps 从默认的 1e-8 调大到 1e-4 甚至 1e-3。我的排查顺序是先打印一轮输入数据有没有 NaN再关掉 AMP 试跑几百步之后看梯度范数最后检查 weight_decay 是否设得过大。按这个顺序基本能在短时间内定位到根因而不是盲目地“调低 lr 重来”。5.3 显存不够、训练吞吐上不去显存不够是另一个高频求助。我的第一反应不是“降低 batch”而是先开混合精度这一步能把显存占用降一半。还不够的话开梯度检查点gradient checkpointing以少量计算换显存效果非常明显。再不行才考虑梯度累积用多个小 batch 模拟大 batch注意 BatchNorm 的统计量在梯度累积下会和真正大 batch 略有差异。吞吐上不去的典型瓶颈是数据加载。很多人训练时 GPU 利用率一直 60% 以下问题往往在 dataloader 的num_workers太少或没开pin_memoryTrue。我会先用 PyTorch profiler 或 nvidia-smi 看 GPU utilization确认是否是数据瓶颈再动手优化。序列模型里动态 padding 也能大幅减少浪费之前我做过一个文本分类项目只把静态 padding 改成动态 padding训练速度直接提升接近一倍。6. 从 Model-Optimizer 转成自己的调优清单6.1 验证过的调优顺序我踩了这么多年坑以后把 Model-Optimizer 的实操步骤固化成了一个固定顺序每次开新任务都照着走固定一个小数据集先跑通完整训练流程观察 loss 是否能下降。选好优化器起点分类/CV 用 SGDMomentum序列/生成用 AdamW。加学习率预热和衰减固定训练总步数。在训练脚本里打印每轮的梯度范数观察是否异常。按情况加梯度裁剪和 EMA。上了全量数据后再做一次学习率微调不要频繁更换优化器。验证集精度达标后再做推理侧量化、剪枝、蒸馏。这个顺序最大的好处是每一步只改一个变量出问题的时候定位非常快。我见过太多人同时换了优化器、改了学习率、开了混合精度、还调了 weight_decay然后训练崩了根本不知道是哪里造成的。6.2 我的几点个人体会做 Model-Optimizer 时间越久我越觉得“优化器”这个词被严重低估了。它不只是一个算法接口而是一种工程思维训练阶段要考虑数值稳定性推理阶段要考虑部署约束每一步决策都得留出可观测性。如果只能分享一条心得我会说一定要把梯度范数打印出来不要只看 loss 曲线。梯度就是模型训练的血压loss 只是外部症状。很多训练异常在 loss 曲线显现之前早就从梯度范数上暴露出来了。我还习惯每次实验都留一份完整配置日志包括优化器版本、学习率、warmup 步数、随机种子否则复现一个旧结果往往要重新受一遍调参的罪。将来你再遇到“模型不收敛”或者“线上推理太慢”时不用急着怀疑优化器。先把它放到整个链条里去审视按顺序排查答案通常会比想象中清晰。这也是我为什么愿意把 Model-Optimizer 写成一套方法论而不只是一个工具类目的原因。