最近几年大模型训练基本绕不开Megatron-LM尤其是需要跑数十亿甚至上千亿参数模型的时候。很多朋友第一次接触分布式训练上来就在单机上做DDPDistributed DataParallel跑通了以为自己已经会了结果模型规模一上来就发现要么显存爆掉要么通信瓶颈卡死训练效率低得离谱。这时候你才真正意识到Megatron-LM这套框架的价值不只是“多卡跑起来”而是它把张量并行、流水线并行、数据并行这些策略全都做进去了配合NCCL通信库能在多卡集群上把显存和算力高效地利用起来。这篇文章是给想从单机单卡跨到多卡集群训练的人写的。我会从环境准备、代码部署、数据准备、分布式训练配置到实际启动命令和参数计算尽可能把每一步都拆开讲清楚。反正我在第一次搭建的时候踩了不少坑这次干脆把完整的实操路径写出来你按照这个流程走基本可以少走很多弯路。1. 整体设计与方案选型为什么是Megatron-LM1.1 Megatron-LM解决的核心问题分布式训练并不神秘核心诉求就两个一是模型太大装不进一张卡二是单卡算力不够需要多卡并行。DDP能做到的是把数据切分到多张卡上每张卡持有完整模型副本前向反向各自计算梯度做AllReduce同步。但问题在于如果你的模型本身就超过单卡显存上限DDP压根跑不起来。Megatron-LM给出的解法是把模型本身切到多张卡上。张量并行是纵向切权重矩阵流水线并行是横向切层数据并行则是把数据批量切分到不同设备组上。在Megatron的体系里这三种并行可以同时开启搭配成“3D并行”方案。这也是它能撑住数千亿参数模型训练的原因。我第一次上手时没太理解这些策略的区别后来跑了一个简单对比单卡能容纳的模型用DDP和用Megatron数据并行训练效果差不多但如果模型大到单卡放不下只能用Megatron的张量并行或流水线并行来切。所以选型逻辑很简单——模型能塞进单卡就先DDP塞不进去就必须上Megatron。1.2 为什么选Megatron-LM而不是其他框架市面上做分布式训练的框架不少常见的还有DeepSpeed、Fairscale。DeepSpeed在显存优化上做得非常激进能通过ZeRO系列把优化器状态、梯度、参数都分片出去。Fairscale在学术界用得也不少。但Megatron-LM最大的优势在于它对张量并行的实现非常成熟——这正好是模型大到单卡放不下之后最需要的东西。另外NVIDIA官方对Megatron的维护和支持是持续的从Megatron-LM到Megatron-DeepSpeed再到NVIDIA内部的Megatron-Core发展脉络很清晰配套文档、社区案例都相对丰富。如果你要训练GPT、BERT这类Transformer架构Megatron几乎可以直接拿来做主干训练脚本。当然这也不是说DeepSpeed不好。实际工程里很多人会把两者结合起来用比如Megatron负责模型并行DeepSpeed负责推理或后续的微调分片策略。但第一次搭集群不建议把复杂度拉得太高先把Megatron一条链路跑通后面再按需叠加。在这里顺手给个建议如果评论区有人问“我只有4张卡要不要上Megatron”我的回答是该上。卡数少不怕先把机制跑顺等真上了大模型或者多节点你会省下大量排错时间。1.3 集群拓扑与硬件选型考量多卡集群搭建之前先要清楚你的硬件拓扑。拿一台8卡A100 40GB的服务器举例不同卡之间走的是PCIe或者NVLink。NVLink带宽远高于PCIe这对张量并行的通信非常关键。因为张量并行需要在每个Transformer层内部频繁做通信如果走PCIe通信开销会吃掉不少计算增益训练效率反而可能不如降低并行度。跨节点通信方面一般走InfiniBand或者RoCE。你可以在训练参数里指定NCCL用的网络接口比如NCCL_SOCKET_IFNAMEib0。如果是万兆以太网也能跑只是延迟会高一些。首次搭建集群先别急着追求极致的带宽利用率把环境跑通、数据正确性验证好才是重点。RAM和显存同样值得关注。Megatron在启动之前会有一段占用显存做内存池缓存分配的过程RAM太小容易触发OOM。我见过一些人把RAM配置和显存完全混为一谈结果训练脚本在数据预处理阶段就把内存吃满了。至少准备两倍于模型大小的RAM会稳一些虽然这个数不是绝对标准但实操下来这个空间比较安全。1.4 方案选型总结整体设计方案上最简单的入门路径是单机多卡比如一台8卡机器起步用NVIDIA官方NGC PyTorch容器作为基础环境部署Megatron-LM源码用GPT或BERT示例模型跑通数据并行再加入张量并行与流水线并行最后通过torchrun启动脚本完成多卡训练。如果你有人工标注好的真实语料就转换成Megatron需要的二进制格式如果没有直接用它的示例数据先验证环境也是完全可以的。这样设计的好处是每一层复杂度都相对可控环境出错容器能兜底代码出错示例脚本能对比并行策略出错显存占用和通信日志能反馈。你不会像无头苍蝇一样同时排查多个维度的问题。2. 环境准备与依赖安装从零搭建多卡训练环境2.1 硬件与驱动基线检查搭建多卡集群第一步不是敲命令而是确认你的硬件状态。建议先执行nvidia-smi确认驱动版本、CUDA版本和支持的GPU型号。不同GPU型号对CUDA版本有要求比如Ampere架构的A100就必须搭配CUDA 11.x或更新的版本否则算力特性根本发挥不出来。接着用nvidia-smi topo -m看卡间的拓扑连接。你可能看到带NVLink的机器卡间连接是NV#而走PCIe的机器显示PIX或PHB。这个信息决定了你的并行策略部署方式——张量并行尽量放在同一张卡组里让通信走NVLink减少延迟。检查完拓扑之后还要确认NCCL是否安装正确。NCCL是NVIDIA的集合通信库PyTorch分布式训练基本都依赖它。可以用如下命令验证python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.nccl.version())如果输出True并且有NCCL版本号基础环境基本没问题。如果这里就不通先别急着往下走后面所有步骤都可能报通信错误。2.2 NGC容器最省心的环境方案自己手动编译安装PyTorch、NCCL、Megatron依赖不是不行而是很费时间。NGC容器是NVIDIA官方打包好的镜像里面已经内置了已经编译对齐版本的PyTorch、NCCL、CUDA库和驱动配套组件。这个“对齐”很重要自己编译版本不匹配往往是各种神问题的源头。拉取镜像的命令很简单docker pull nvcr.io/nvidia/pytorch:23.08-py3这个版本标签只是示例实际选择时可以看一眼当前NGC的Release Notes找和你驱动CUDA版本匹配的即可。启动容器的时候要注意几点用--gpus all把GPU透传进容器--shm-size设置为不低于32GB否则数据加载阶段容易共享内存不足。另外把项目目录和数据集目录挂载进去方便开发调试。docker run --gpus all --shm-size64g -it --rm \ -v /mnt/data:/workspace/data \ -v /home/user/megatron:/workspace/megatron \ nvcr.io/nvidia/pytorch:23.08-py3容器启动后直接在bash环境里继续操作。你会发现nvcc --version和PyTorch版本已经是现成可用的状态不用再花两小时编译。有人可能会问“我不用容器行不行”行但你得自己处理CUDA版本、cuDNN、NCCL和PyTorch编译选项的兼容矩阵相当折腾不推荐第一次搭建时就给自己加这种戏。2.3 拉取Megatron-LM源码与安装依赖进入容器之后把Megatron-LM源码拉下来git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LMMegatron-LM本身依赖apex用于混合精度训练如果直接用纯PyTorch的自动混合精度也行但为了性能建议安装apex。在NGC容器里安装apex相对简单git clone https://github.com/NVIDIA/apex cd apex pip install -v --disable-pip-version-check --no-cache-dir ./安装apex可能比较耗时因为需要编译CUDA扩展。如果编译过程中报“Killed”之类的内存不足错误多半是容器RAM或swap不够可以适当降并发或增加RAM。另外Megatron-LM的requirements.txt里还包含regex、sentencepiece等常用包直接跑一遍pip install -r requirements.txt即可。这里多说一句Megatron-LM的代码版本迭代比较快不同的commit在参数和脚本上可能略有差异。如果你训练的是GPT类模型直接看examples/pretrain_gpt.shBERT类模型看examples/pretrain_bert.sh。这些示例脚本是很好的起点。2.4 数据准备与预处理流程数据准备是很多人会忽略但坑最多的部分。Megatron训练数据不是直接喂txt它需要先把文本转换成二进制格式。官方提供了一个预处理脚本一般来说位置在tools/preprocess_data.py。假设你有一份纯文本语料raw_data.txt准备好分词器后可以执行以下类似命令python tools/preprocess_data.py \ --input /workspace/data/raw_data.txt \ --output-prefix /workspace/data/my_gpt \ --tokenizer-type GPT2BPETokenizer \ --vocab-file /workspace/data/gpt2-vocab.json \ --merge-file /workspace/data/gpt2-merges.txt \ --append-eod \ --workers 32分词器选型上GPT2BPETokenizer是最常见的。如果你训练中文模型可能需要换成sentencepiece或别的中文tokenizerMegatron代码里也有对应选项可以扩展。--append-eod会在每篇文档末尾加上结束符这会影响模型对文档边界的感知别漏。预处理完成后会生成.bin和.idx文件。训练时就指定--data-path指向这些文件。我第一次跑的时候没有做预处理直接拿文本文件塞给训练脚本结果数据加载阶段一堆报错白白浪费了一下午。2.5 验证基础数据通道正式大规模训练之前我强烈建议先跑一个极小配置的测试比如2层Transformer、1G显存限制、几十步训练用来验证环境是否正确。具体做法是把--micro-batch-size调小--global-batch-size适当缩小训练步数设成50步以内。这样即使出现问题也能很快dump出来。如果小配置能正常跑出loss下降说明环境链路没问题。这时候再做大规模训练遇到问题的维度就只会在并行策略和集群通信这个层面排查范围会小很多。3. 并行策略与关键参数分布式训练的“兵法”3.1 数据并行Data Parallelism数据并行是最容易理解的并行方式。假设你有64张卡将一份batch数据切分为64份每张卡分到一份数据各自持有完整的模型副本一起做前向和反向计算算完梯度后通过AllReduce同步更新参数。Megatron-LM中的--data-parallel-size决定了数据并行度。通常这个值会等于总GPU数量除以模型并行度。举个例子你用了8张卡模型并行度设为2比如张量并行TP2那数据并行度就可以是4。数据并行越大单batch能处理的样本数越多训练吞吐自然就上去了但也会对通信带宽提出更高要求。不同并行方式对通信量的压力差别很大。数据并行在每步都需要AllReduce同步梯度通信量和模型大小成正比这个开销在千亿模型上非常可观张量并行则在前向和反向的每个Transformer层内都有通信需求延迟敏感程度更高。3.2 张量并行Tensor Parallelism张量并行常用于解决“单卡放不下模型”的问题。对于Transformer这类结构它的核心操作是矩阵乘法。大矩阵乘法可以按行或按列切分成多个小矩阵分给不同的卡去做最后再拼接结果——Megatron的张量并行正是基于这个思想。如果设置--tensor-model-parallel-size 2模型中的注意力权重和FFN权重会被切成2份分给2张卡。在计算过程中每张卡负责自己那部分的矩阵乘法通过AllReduce或AllGather把结果整合起来。张量并行的通信非常频繁因为每个Transformer层都需要多次通信因此建议把TP组放在NVLink互联的卡内。如果你在一台8卡A100机器上设置TP8正好一张卡持有一层的一部分层间通信全走NVLink效果是最好的。如果把TP扩展到跨节点通信就会经过网卡延迟显著增加训练效率可能不升反降。3.3 流水线并行Pipeline Parallelism流水线并行解决的是模型层数太多的问题。假设模型有24个Transformer层单卡放不下你把它切成4份每张卡或每组卡负责6层。数据按micro-batch切分后像流水线一样流经不同的卡前一个阶段计算完传给下一阶段。Megatron中设置--pipeline-model-parallel-size 4即可开启。流水线并行有个经典问题叫“流水线气泡”——即某个阶段计算时其他阶段的卡可能在等待数据造成算力空闲。为此Megatron实现了一个虚拟流水线技术Virtual Pipeline把每个阶段内的层再细分减少气泡影响。实际操作中第一次调流水线并行不需要对这些细节太过焦虑。把--pipeline-model-parallel-size设置成节点数量或节点内GPU数量的一半通常是比较稳妥的选择。比如4节点4卡总卡数16张可以选择PP4TP2DP2的组合合理性需要在训练日志里实测收敛速度和吞吐量来判断。3.4 并行维度如何取舍并行维度的权衡本质是“通信开销 vs 显存容量”之间的取舍。我整理过一份快速参考表能帮助你根据自己集群的规模和模型大小确定初始组合表不同并行组合的适用场景场景张量并行(TP)流水线并行(PP)数据并行(DP)说明单机8卡811模型极大NVLink宽带宽TP8最佳单机8卡412模型适中需要更大batchTPDP组合多节点(16卡)441每节点TP4内通信节点间PP通信均衡多节点(64卡)842大规模训练3D并行全开以上只是初始建议并不绝对。实际训练时可以根据显存使用率和吞吐量日志微调各组并行度。想查系统整体的吞吐表现可以看训练日志中的TGSTera Samples per Second或者Tokens per second。3.5 关键训练超参详解除了并行维度Megatron训练脚本里还有一些关键超参数它们的含义直接影响模型训练的质量。--micro-batch-size是单张卡一次前向/反向的样本数。这个值受单卡显存限制通常尽可能调大但别超出显存。--global-batch-size是所有数据并行卡上微批次的累积数量。梯度累积步数可以通过global_batch_size / (micro_batch_size * data_parallel_size)计算得出。比如global_batch_size1024micro_batch_size4DP8那么单步梯度累积就是32步。这个值太大训练会很慢太小则可能影响BatchNorm不过Transformer一般不用。--num-layers、--hidden-size、--num-attention-heads这三个参数定义模型结构。预训练时要和分词器词表大小匹配比如GPT系列词表通常为50257或更高词汇量。改模型结构时注意力头和hidden-size需要成比例例如GPT-2结构中hidden-size 768配12头1280配20头。另外还有混合精度参数--fp16。Megatron的fp16训练依赖apex库可以明显降低显存消耗并加速训练。在NGC容器中--fp16通常直接可用。我实际用下来在A100上显存占用大约能降低40%左右且训练速度提升明显。第一次调通模型后建议先小规模验证fp16模型能正常收敛再开大规模训练。4. 实操部署我要一步步教会你配置多卡启动环境4.1 单机多卡启动示例以GPT为例这里我直接给出一个我验证可行的单机8卡启动脚本使用GPT模型和示例数据来做说明。假设你已经按前面流程准备好了预处理后的数据。#!/bin/bash GPUS_PER_NODE8 MASTER_ADDRlocalhost MASTER_PORT6000 NNODES1 NODE_RANK0 VOCAB_FILE/workspace/data/gpt2-vocab.json MERGE_FILE/workspace/data/gpt2-merges.txt DATA_PATH/workspace/data/my_gpt_text_document CHECKPOINT_PATH/workspace/checkpoints/gpt_345m_tp2_pp1 DISTRIBUTED_ARGS --nproc_per_node $GPUS_PER_NODE \ --nnodes $NNODES \ --node_rank $NODE_RANK \ --master_addr $MASTER_ADDR \ --master_port $MASTER_PORT GPT_ARGS --num-layers 24 \ --hidden-size 1024 \ --num-attention-heads 16 \ --seq-length 1024 \ --max-position-embeddings 1024 \ --micro-batch-size 4 \ --global-batch-size 256 \ --lr 0.00015 \ --train-iters 5000 \ --lr-decay-iters 320000 \ --lr-decay-style cosine \ --min-lr 1.0e-5 \ --weight-decay 1e-2 \ --clip-grad 1.0 \ --fp16 TENSOR_PARALLEL_ARGS --tensor-model-parallel-size 2 \ --pipeline-model-parallel-size 1 DATA_ARGS --data-path $DATA_PATH \ --vocab-file $VOCAB_FILE \ --merge-file $MERGE_FILE \ --split 949,50,1 CHECKPOINT_ARGS --load $CHECKPOINT_PATH \ --save $CHECKPOINT_PATH \ --save-interval 1000 torchrun $DISTRIBUTED_ARGS \ /workspace/megatron/pretrain_gpt.py \ $GPT_ARGS \ $TENSOR_PARALLEL_ARGS \ $DATA_ARGS \ $CHECKPOINT_ARGS \ --distributed-backend nccl这里用torchrun启动它会自动为每个进程分配RANK和LOCAL_RANK环境变量这也是Megatron标准启动方式之一。你可能注意到我设置了TP2而不是TP8原因是我故意要演示“TPDP”的组合DP4。如果你的模型极大想直接用TP8只需要把--tensor-model-parallel-size改为8并将micro-batch-size调小一点即可。4.2 多节点启动示例多节点启动比单节点稍复杂但原理一样。假设你有2台机器每台8卡共16张卡。第一台作为master节点第二台作为worker节点。启动脚本基本一样只不过NNODES设为2MASTER_ADDR填第一台机器的IP地址NODE_RANK分别填0和1。在第一台机器上GPUS_PER_NODE8 NNODES2 MASTER_ADDR192.168.1.10 MASTER_PORT6000 NODE_RANK0第二台机器上除了NODE_RANK1其他参数和第一台保持一致。注意MASTER_ADDR必须改成实际IP而不是localhost——很多人第一次配多节点就是栽在这里明明两台机器网络相通日志里却一直报连接超时。如果遇到可以先在两边互相ping一下IP然后用nc -zv IP PORT测试端口是否可通。如果两台机器之间走的是InfiniBand建议在执行训练前设置NCCL_SOCKET_IFNAMEib0。如果是普通以太网就设置成对应的网卡名比如eth0。实在不确定可以先用一个简单的test脚本打印NCCL的信息或者在启动命令前加export NCCL_DEBUGINFO打印网络选路日志。4.3 关键环境变量与NCCL调优第一次跑分布式训练NCCL相关环境变量值得提前了解因为它们在多节点训练中的定位基本就是“隐形加速器”。NCCL_SOCKET_IFNAME指定NCCL使用的网络接口。多节点环境中如果不指定NCCL可能选错网卡导致通信失败或速度极慢。NCCL_IB_DISABLE0开启InfiniBand通信如果硬件支持就保留为0如果硬件不支持可能需要设为1来强制禁用IB避免探测超时。NCCL_DEBUGINFO开启NCCL调试日志。定位通信问题时很有用但正式训练时建议关掉因为日志量太大会影响训练吞吐。NCCL_IB_TIMEOUT和NCCL_IB_RETRY_CNT在IB网络出现偶发不稳定时适当调大这两个值能减少训练中断概率。就我的实际经验而言很多“NCCL error”的报错60%以上不是NCCL库里有什么bug而是环境变量没配对或网络接口选错了。调试分布式训练时先开NCCL_DEBUGINFO跑一遍小任务确认各卡之间的通信路径都正常再关掉日志跑正式训练这种节奏比较可靠。4.4 如何验证你的训练正在正常收敛分布式训练都启动了但你得确认训练没出错。日志里最明显的信号是loss在逐步下降。如果loss纹丝不动或者反复跳动不收敛先看数据预处理和词表文件有没有配置正确再看学习率设置是否合理。我常用的检查手段是在训练启动后观察最开始200步内的loss变化趋势。如果初始loss在log空间快速下降说明模型结构和数据通道正常如果loss直接变成nan则优先检查学习率和混合精度设置尤其是--fp16下可能会遇到loss溢出这时可以尝试调整--loss-scale或让动态loss scale自己工作。另外如果启用了checkpoint保存可以定期把训练好的权重单独抽出来做一次小规模验证比如生成一小段文本或跑一个下游任务评估。很多人在训练时只看loss不看生成质量结果训练了上万步产出时才发现词表或数据处理有问题这就非常浪费时间了。4.5 实际启动后的资源利用率观察登录一台GPU节点运行nvidia-smi你应能看到所有GPU的利用率在训练过程中保持较高状态。如果某些卡利用率很低说明负载不均衡可能是模型并行策略分配不均也可能是数据加载成了瓶颈。这时可以打开nvidia-smi dmon -s p -i 0之类的监控命令逐卡查看计算利用率和显存占用。另一个常见瓶颈是数据加载。如果GPU利用率高比如95%以上但整体吞吐上不去那问题往往不在计算而在数据读取和预处理。缓解办法包括调大--num-workers数据加载线程数、使用高速SSD存储数据文件、用内存文件系统缓存数据。5. 常见问题与排查技巧实录5.1 连接类错误错误信息类似RuntimeError: NCCL error in: ... unhandled system error, NCCL version X.Y.Z这类错误大多是因为NCCL无法在预设网络端口上通信。排查顺序是确认MASTER_ADDR和MASTER_PORT在所有节点上配置一致。尤其多节点中很多人在每台机器上复制了同一个脚本忘记改NODE_RANK或MASTER_ADDR。用nc -zv MASTER_ADDR MASTER_PORT验证端口是否可达。如果被防火墙拦截直接放行TCP端口即可。设置NCCL_DEBUGINFO重新启动训练查看日志里NCCL选择了哪些网卡IB或以太网如果网卡不是预期的那张手动指定NCCL_SOCKET_IFNAME。5.2 显存溢出类错误OOMOOM的报错最常见有两种CUDA OOM和host RAM OOM。CUDA OOM说明单卡显存不足就要降低--micro-batch-size或者提高张量并行/流水线并行的维度让模型切片更分散。Host RAM OOM则可能出现在数据预处理或模型加载阶段可以把数据加载线程数调低并检查是否有其他进程占用了大量内存。有时候OOM并不是因为模型太大而是因为模型并行度设置不正确导致某张卡独吞了过多参数。比如设置了TP2但PP8每个stage的显存负载不均。如果遇到这种情况试着让TP和PP之间达到一个相对均衡的分配再观察显存占用分布。5.3 训练不收敛或Loss异常Loss不收敛需要先确认一个关键点——你的词表和语料是否匹配。有些朋友训练中文模型却用了英文词表模型根本学不到有意义的信息loss自然一直高得离谱。另外如果--seq-length远大于数据集中最大序列长度预测目标大部分是对齐的padding token也会影响收敛质量。如果loss有下降趋势但震荡剧烈可以尝试降低学习率比如从1e-4降到5e-5同时增大--warmup-iters让学习率在前几千步缓慢爬升。混合精度下的loss剧烈震荡还要检查--fp16的loss scaling逻辑适当关闭动态loss scale固定一个较大的scale值做对比。5.4 吞吐性能不及预期“卡都利用了但每秒处理的token数就是上不去”这种情况多半是通信开销盖过了计算收益。先用脚本分别测试只开DP、只开TP、只开PP的吞吐找出瓶颈维度。如果发现开TP后性能大幅下降很可能是跨节点TP导致网络延迟太高这时候把TP限制在单机内部会好很多。数据加载也会成为吞吐短板。在启动训练前单独测一下数据集读取耗时。用preprocess_data.py生成的.bin文件如果放在机械硬盘上每轮迭代随机读取索引的开销会非常大建议迁到SSD或内存文件系统/dev/shm。5.5 检查点保存与加载问题多卡训练最常见的检查点相关问题是保存、加载时使用的并行度不同导致权重格式不匹配。比如你用TP8训练完想用TP2加载推理直接加载肯定报错。这时要么用Megatron提供的模型转换工具把并行权重合并或重新切分要么在保存和推理时保持相同的并行度。另外检查点的保存路径一定不要放在NFS上且没有缓存策略否则每次写入的高延迟会影响训练严重时甚至导致卡住。把--save路径指向本地NVMe SSD是更好的选择训练结束再异步同步到持久化存储。5.6 快速排查速查表表Megatron多卡集群常见问题排查现象可能原因处理建议启动卡住无日志输出MASTER_ADDR/端口不通用nc测试端口检查防火墙NCCL错误IB网卡未启用或选错网卡设置NCCL_SOCKET_IFNAMENCCL_DEBUGINFOCUDA OOMmicro-batch过大或TP/PP不均匀降低micro-batch调整并行维度Loss为nan学习率过高、fp16溢出降学习率检查loss scaling训练速度慢TP跨节点、数据IO慢TP限制在节点内数据放SSD加载checkpoint失败并行度不匹配使用权重转换工具或对齐并行度6. 从搭建到调优我踩过的关键坑最后这节我分享几条实操中让我印象最深的心得希望能给你的集群搭建过程省一点时间。第一条先用“极小型模型”验证整个环境。我第一次搭好环境后直接复制了官方脚本里的大模型配置启动训练结果等了半小时才发现通信第一个AllReduce就失败了。后来学乖了把模型调到仅2层、hidden-size64训练10步先确认分布式链路是通的再逐步放大模型规模。这个习惯让我后续排错速度提高了不止一倍。第二条务必保持脚本里的路径绝对化避免相对路径带来的无头麻烦。我在容器里跑训练时挂载路径和容器内路径混淆了导致生成的checkpoint目录半天找不到文件。更规范的做法是准备一个环境变量配置文件路径统一用变量替换比如DATA_ROOT、CHECKPOINT_ROOT一套脚本换环境时改一行即可。第三条监控是所有排错的前提。我在训练时习惯开一个独立的终端窗口运行nvidia-smi dmon -s p -c 200或者更轻量的gpustat每几秒刷新一次。一旦发现某张卡利用率掉到50%以下马上能定位到是数据加载还是通信等待问题。没有监控做基础你很难判断瓶颈究竟卡在哪一层。第四条遇到搞不定的报错先查NCCL版本。很多时候分布式训练的诡异问题不是因为你代码写错了而是NGC容器默认的NCCL版本和宿主机驱动之间存在差异。你可以通过torch.cuda.nccl.version()打印NCCL版本再对照驱动支持的CUDA版本必要时升级或降级容器镜像。第五条Megatron不是万能的不必为了用而用。如果你的模型小到单卡能装下直接单卡训练或者DDP会比加TP/PP更高效因为模型并行的通信开销是实打实存在的。Megatron真正发力的场景是大模型、超大模型这也是它比DDP先进的地方。停在合适的复杂度上工程上才是最高效的选择。根据我自己的经验搭建多卡集群的实际时间往往不在“搭”上而在“调试环境”上。容器虽然能替你挡掉大部分依赖问题但网络、存储、权限、拓扑这些层面的坑还是需要你亲自动手去排。分布式训练是门槛不低但只要第一次完整跑通一次全流程后面的路就会顺畅很多。希望这篇教程能让你顺利跑起来自己的第一个多卡训练任务。