一、概览1.1 一句话读懂大模型训练的算力瓶颈已经从买更多 GPU 卡转向让这些卡真正高效地协同工作当前业界围绕 Scale-Up机箱内、Scale-Out跨节点、Scale-Across跨数据中心三条路径各自推进但每条路都有致命硬伤因此真正的破局之道在于以自研芯片为基石构建网络一体化方案在 Scale-Up、Scale-Out、Scale-Across 三大领域之间实现高效协同与桥接。1.2 为什么是现在大模型时代有两个基本事实碰在一起把问题逼到了台面上第一模型参数呈指数增长。GPT-3 是 1750 亿参数到 GPT-4 级别已经是万亿甚至十万亿级别。单张 GPU 显存装不下必须拆到多张、多台、多个数据中心上去。第二GPU 单卡算力提升越来越慢。摩尔定律放缓制程从 7nm 到 5nm 到 3nm每代性能提升从过去的 2x 缩减到 1.3~1.5x。靠堆卡来弥补——但堆卡之后卡和卡之间的通信成了新的瓶颈。这两个事实叠加的结果就是算力瓶颈从单卡转向了系统协同网络互联成了关键制约因素。这不是一个能靠买更快的网卡解决的问题。它牵扯到底层总线协议、交换拓扑、拥塞控制算法、跨域调度——一整套系统工程。二、三大互联模式的定义与技术特征2.1 Scale-Up纵向扩展——机箱内的战争2.1.1 PCIe 的物理瓶颈为什么 64 GB/s 喂不饱 MoE 和 TP16~64原文一句话点出了 Scale-Up 最核心的问题Scale-Up 架构受限于 PCIe 带宽难以满足 MoE、TP16~64 等高并行需求。这句话值得拆开来看因为它精准命中了 AI 大模型硬件架构的一个致命软肋。PCIe 带宽跟不上需求发展目前最先进的PCIe 5.0 x16单向理论带宽约64 GB/s。这个数字看起来不小——但如果把它放到 AI 训练的场景里立刻就不够用了通信方式双向带宽延迟适用场景PCIe 5.0 x16≈128 GB/s纳秒级普通数据传输、小模型加载NVLink 4.018 NVLink≈900 GB/s总聚合纳秒级TP / MoE 高并行NVLink 5.018 NVLink≈1800 GB/s总聚合纳秒级TP / MoE 高并行NVLink4.0 全互联的总聚合带宽是 PCIe 的14倍多。如果硬要用 PCIe 跑 TP64 或 MoE 会发生什么两种灾难同时发生灾难一GPU 空转饥饿。TP64 时每张卡算一个矩阵乘法只要毫秒级但算完后要把 64 张卡的结果通过 PCIe 汇总同步。带宽窄导致这个过程要花几十毫秒。GPU90% 的时间在等数据只有 10% 在真正计算。花了 64 张卡的钱只买到 6 张卡的算力。灾难二MoE 的 All-to-All 通信风暴。MoE 模型每次推理只激活部分专家导致 GPU 之间产生大量碎片化的 All-to-All 通信——每个 Token 都要在几十张卡之间乱序广播。虽然PCIe 在物理层是点对点串行连接不存在以太网意义上的碰撞。但问题出在 PCIe Switch 上所有 GPU 挂在同一块 Switch 芯片下Switch 的上行端口带宽有限现在主流单上行配置PCIE5.0 x16只有 64GB/s。当 64 张卡同时往同一个目标发数据时Switch 的出口端口瞬间成为瓶颈缓存溢出后触发信用耗尽反压导致各GPU实际能利用的有效带宽暴跌。打个比方PCIe 像多条独立的地下管道互不干扰但 PCIe Switch 就像一个快递分拣中心——多个发货点同时发货通往 CPU 的传送带只有一条快递在分拣中心堆成山分拣中心只能举着暂停发货的牌子让所有人原地等待。2.1.2 NVLink 与 NVL72英伟达的超节点答卷面对 PCIe 的瓶颈英伟达给出的答案是 NVLink。NVLink 的核心能力以 H100 为例NVLink 4.0 总带宽高达 900 GB/s通过NVSwitch实现多卡全互联代表产品NVL72 超节点——通过 NVLink NVSwitch 实现72 卡 GPU算力聚合这确实解决了机箱内的高吞吐需求。但 NVLink 带来了一个新问题。2.1.3 NVLink 的封闭性困境Scale-Up与Out两各领域无法有效协同这个问题比贵不贵更深——它是结构性的体现在三个层面第一层物理带宽的断崖式落差。NVLink 机箱内 900 GB/s而跨节点的 InfiniBand NDR 或 RoCE 单端口只有400 Gb/s≈50 GB/s。数据要从机箱内流出去必须经过NVLink → PCIe → 网卡 → 光缆这条路。相当于让高铁换乘绿皮火车。NVLink 的性能被网卡出口带宽死死卡住发挥不出来。这就决定了TP 绝对不允许跨节点——只能在机箱内玩。第二层协议语义的鸡同鸭讲。NVLink 支持细粒度的缓存一致性Cache CoherencyGPU 可以直接原子操作对方显存里的变量延迟纳秒级。而 Scale-Out 网络IB/RoCE基于 RDMA传输的是粗粒度的消息传递Message Passing不维护缓存一致性。当 NVLink 想通过 Scale-Out 去细腻地访问另一台服务器的显存时对方根本不认这套指令。集合通信库NCCL必须人为做硬分割机箱内跑细腻的 TP机箱外跑粗糙的 PP/DP两种模式无法交织。第三层商业生态的私有壁垒。NVLink 是 NVIDIA 独家专利不对外开放。Scale-Out 网卡必须插在PCIe 插槽上——也就是说即使 NVLink 内部跑得飞起所有流出机箱的数据都必须排队挤过 PCIe 这个收费站才能进入网卡。如果你想拥有 NVLink 级别的聚合带宽只能买 NVIDIA 的 DGX SuperPOD 整机柜方案。即便如此内部依然是物理隔离的两个独立网络平面——NVLink Domain 和 InfiniBand Fabric 由 NCCL 负责翻译底层硬件根本不知道对方的存在。最终结果TP 的卡数永远无法超过单台服务器内的 GPU 数量通常是 8 卡。如果你想搞 TP64就必须把 64 张卡塞进一台巨型服务器如 GB200 NVL72本质上还是 Scale-Up。行业对抗的力量正在聚集——Google、AMD、Intel、AWS 推出的UALink 联盟旨在打造开放的、覆盖机箱内外的高速互联标准试图打破 NVLink 的私有枷锁。此外还有 SUE、ESUN 等总线型和以太型互联技术相继出现。整个 Scale-Up 互联生态较为碎片化短时间内难以收敛统一。2.2 Scale-Out横向扩展——跨节点的博弈2.2.1 RDMA绕过 CPU 的极速通道“Scale-Out 通过 RoCEv2 或 InfiniBand 构建跨节点网络承载 PP、DP 通信。”这句话背后是一套完整的通信技术栈。传统 TCP/IP 网络中GPU 发数据要经过 CPU 打包再发给网卡接收方也要 CPU 解包再给 GPU——延迟几十微秒CPU 还被占满。RDMA远程直接内存访问的核心思路是让 GPU 的数据直接通过网卡塞进对方服务器的 GPU 显存里全程绕过 CPU 和操作系统内核。两条主流技术路线RoCEv2基于融合以太网的 RDMA利用无损以太网实现 RDMA延迟几微秒成本低于 InfiniBand。InfiniBandIB无限带宽从物理层到协议层原生为 RDMA 设计丢包率极低带宽极高如 NDR 400 Gbps是 AI 超算的黄金标准——但极贵。一句话总结用这两者是为了在跨服务器的长距离传输中模拟出本地显存访问的极速错觉。2.2.2 并行策略的工程分层为什么 TP 不出机箱PP 和 DP 走 Scale-OutTP、EP留在机箱内 ——这段话体现了工程分层设计的思想。不同并行策略对网络的诉求天差地别并行策略通信方式通信频率单次数据量部署归属TP/EP张量/专家并行All-Reduce/All-to-All全局同步极高每层矩阵运算都同步较小但极频繁Scale-Up机箱内——例如NVLinkPP流水线并行点对点 Send/Recv较低仅层边界通信中等Scale-Out跨节点——可用 IB/RoCEDP数据并行All-Reduce / All-Gather中等每个 Step 结束时同步极大全量梯度Scale-Out跨节点——可用 IB/RoCETP 天生挑食——它要求每 1 毫秒同步好几次对延迟极度敏感。RoCE 跨机箱走光纤有物理光速延迟微秒级比 Scale-Up总线纳秒级慢上百倍。所以TP 打死不出机柜。PP 和 DP 对延迟迟钝得多——PP 只在层间传数据频率低DP 虽然单次数据量极大要把几十 GB 梯度广播给所有节点但它可以和计算重叠Overlap且只在每个 Batch 结束时发生。它要的是高带宽InfiniBand / RoCE 恰好能提供几百 Gbps 的超高吞吐。全球顶级 AI 集群的通信层级设计都是这套逻辑层级 1机箱内NVLink NVSwitch → TP层级 2机柜间 / 节点间InfiniBand / RoCE → DP PP层级 3跨数据中心普通 TCP/IP 或专用光链路 → 数据备份和 Checkpoint 保存2.2.3 万卡级集群三大拦路虎Incast、ECMP、稳定性痛点非常明确依赖 RDMA 与 AllReduce 实现万卡聚合面临 Incast 拥塞、ECMP 负载不均、协议稳定性差等问题导致训练效率下降。这三个问题被业界称为大规模分布式训练的三大拦路虎。痛点一Incast 拥塞——万箭穿心型堵车AllReduce 的底层包含 Reduce-Scatter归约散射阶段。某个瞬间成百上千张卡同时把数据发往同一台 Leaf 交换机下的某一张卡。交换机下行端口带宽有限400 Gbps当数十个入口同时以满速率涌入同一出口时缓存瞬间填满。RDMA 协议为保证无损触发PFC优先级流控反压——交换机反向通知所有源端给我停结果一卡拥堵整个环网暂停所有 GPU 进入空转状态Stall算力瞬间清零。痛点二ECMP 负载不均——赌运气式的路由ECMP等价多路径通过哈希算法决定数据包走哪条链路。它的机制分三步走摘取身份证从数据包头部提取五元组源 IP、目的 IP、源端口、目的端口、协议号作为 Hash Key。代入搅拌机用 CRC32 或 Toeplitz Hash 算法把五元组算出一个随机化数值。求余选车道用该数值除以可用链路数取余数决定走哪条物理端口。关键约束ECMP 基于流而非包做负载均衡——同一个流的所有包必定走同一条链路保证按序到达。这套机制在普通互联网上很好用——海量用户产生海量不同的五元组哈希自然打散。但在 AI 训练场景中崩溃了AI 集群只有几千个 GPU 在互相通信IP 地址固定、RDMA 采用固定端口五元组的变量极少。32 个AllReduce 大象流去计算哈希可能恰好5 个大流撞在同一条链路上另一条链路却闲置。这就是所谓的哈希极化Hash Polarization——集群的有效带宽不是你买的总带宽而是最堵的那条链路的带宽 × 路数。痛点三RoCE 协议的玻璃心RoCE 要求零丢包。一旦 Incast 拥塞导致丢包哪怕只丢 1 个包RDMA 网卡不会像 TCP 那样优雅重传而是触发激烈的NAK 重传风暴。PFC 反压信号可能在多台交换机之间蔓延引发PFC 死锁风暴甚至导致整个网络域卡死Livelock。更可怕的是尾延迟分布——99% 的包延迟 1 微秒但 1% 因重传/反压达到几百毫秒。而 AllReduce 是木桶效应——只要这 1% 的慢包出现一万张卡都得等它。综合结果算力利用率MFU暴跌网络等待时间占据迭代周期的比例从理想 10% 飙升到现实40%~60%。万卡集群的网络硬件平均无故障时间MTBF按小时计算一周中有两天可能在重启检查点。2.2.4 CLOS 拓扑的 K² 成本陷阱节点越多越贵传统 CLOS 拓扑随着节点增多端口密度与互联带宽呈指数级增长设备成本与功耗激增。这不是夸张——背后的数学是残酷的 K²平方增长。CLOS叶脊 Spine-Leaf架构为了保持无阻塞1:1 无收敛比假设有 K 台 Leaf 交换机那么 Spine 交换机的数量也必须是 K 台或更多。每台 Leaf 要连接所有 K 台 Spine整个集群的互联链路总数 K × K K²。当 GPU 节点从 1000 台增加到 10000 台K 扩大 10 倍需要的物理光缆和端口数不是增加 10 倍而是暴增100 倍。K² 链路背后藏着三个烧钱的无底洞交换机芯片 Die 面积爆炸顶级 Spine 交换机如 Broadcom Tomahawk 5裸片面积巨大功耗几百瓦内部 Crossbar 矩阵随端口数呈 N² 增长流片成本指数级上升。光模块天价堆积400G/800G 光模块单价数百至上千美元。万卡集群链路总数可达百万级需要 200 万个光模块总成本往往超过 GPU 本身功耗占总功耗 20%~30%。布线噩梦上万根光纤密密麻麻缠绕机房地板承重告急气流组织堵塞散热功耗飙升。AI 训练还要额外暴击一刀它要求严格的全互联1:1 无收敛因为 AllReduce 在同步梯度时要求所有链路同时跑满。为了满足这几毫秒的峰值你花几千万买的 Spine 交换机在剩下99.9% 的时间是闲置的。业界的应对之策无非两条路降低收敛比接受 1:2 或 1:3用算法层面的通信隐藏来弥补放弃 CLOS 改用新型拓扑Torus 环面 / Dragonfly 蜻蜓 / Google OCS 光电路交换拓展Google OCS用镜子代替路由器Google TPU v4 及 Jupiter 网络采用的光电路交换OCSOptical Circuit Switching是目前最激进的物理层革命。OCS 内部是成千上万面MEMS 微机电反光镜组成的光学交换矩阵。工作流程极其简单光信号从 A 服务器进入 OCS中央调度器控制某面小镜子物理倾斜微秒级调整光被反射直接飞向 B 服务器的光纤出口。整个过程完全在光域进行不解析 IP 地址不查路由表不做 Hash。OCS 凭什么解决 CLOS 的 K² 噩梦它本质是一个非阻塞交叉连接矩阵——只要 OCS 有 N 个输入口和 N 个输出口就能实现任意的一对一直连。这让网络拓扑从多级跳转Leaf→Spine→Leaf变成了光速直达Leaf→OCS→Leaf。端口密度可以做到数千个双向端口内部只需要 N×N/2 面镜子硬件线性增长而不是电交换的 N² 逻辑门增长。OCS 对 AI 流量的最大优势在于彻底消灭 Incast 和 ECMP 问题——它不靠 Hash 去猜负载而是靠中央调度器提前毫秒级预约物理通路。在 AllReduce 爆发前的一瞬间物理电路已经提前连通数据走专线绝无丢包。代价也很明显MEMS 镜子物理转动需要毫秒级10~20ms无法处理突发小流光路损耗需要高功率发射或放大器定制化设备没有量产货只有 Google 这种全栈玩家玩得转。如果你不在 Google 工作且集群规模小于 1 万卡老老实实优化 RoCE 的 ECMP Hash 因子或用 IB 自适应路由才是务实的解法。2.3 Scale-Across跨域互联——光速也救不了的难题2.3.1 Spectrum-XGS英伟达的跨域答卷英伟达推出的Spectrum-XGS Ethernet 跨域互联技术旨在通过自适应距离拥塞控制、精准延迟管理等先进特性将多个分布式数据中心无缝整合构建起千亿级参数的 AI 超级工厂。Spectrum-XGS 不是简单的换皮交换机而是对传统 RoCE 进行外科手术级改造的产品专门破解上述 Incast、ECMP、PFC 三大痛点突破一逐包动态路由破解 ECMP。传统 ECMP 靠静态 Hash 取余导致大象流撞车。Spectrum-XGS 实时监测每个输出端口的队列深度支持逐包动态选路——同一个大流的包 A 走链路 1包 B 发现链路 1 堵了就走链路 2。接收端 BlueField-3 DPU 内置硬件级重排序引擎先重组再交给 GPU骗过上层协议。突破二主动遥测智能调速消除 PFC 死锁。网卡和交换机实时交换拥塞标记ECN交换机在缓存还没满时就打标通知源端源端收到后主动平滑降速——把急刹车PFC 触发丢包重传“变成提前松油门主动限速”网络利用率从传统 RoCE 的 50%~60% 压榨到95% 以上。突破三跨域聚合千亿超级工厂。通过精确测量两地光纤物理延迟并提前预加载让跨 DC 通信与本地计算完美重叠引入拥塞隔离机制防止背压跨域蔓延。对比一览维度传统 RoCEInfiniBandSpectrum-XGS负载均衡ECMP 静态哈希自适应路由粗粒度逐包动态喷洒极细粒度拥塞控制PFC 被动反压易死锁IB 专用流控稳定但封闭主动遥测智能调速无死锁跨域能力极差极少用于长距原生支持专为多 DC 设计代价是必须买 NVIDIA 的 Spectrum 交换机 BlueField DPU又是一笔不菲的生态税。2.3.2 跨域四大核心难题物理定律暴击 巴别塔困境Scale-Across 面临的挑战具体表现为往返时延RTT高1ms、丢包率高、带宽收敛严重同时不同智算中心在拓扑结构、硬件设备、通信协议等方面存在差异导致协同调度难度大跨域算力调度效率低下。拆成四个维度来看维度一物理层——RTT 1ms同步屏障崩塌。光速不可突破。光在真空中每毫秒走 300 公里在光纤中约200 km/ms。RTT 1ms 意味着两地距离至少 100 公里。大模型训练是同步的——AllReduce 要求所有 GPU 等最慢的那个包到达。本地通信只需 1 微秒跨 DC 要 1 毫秒延迟放大 1000 倍。如果每秒同步 100 次1000 张卡的算力会被钉死在原地空转MFU 直接腰斩再腰斩。维度二带宽层——收敛比骤增高速公路变乡间小道。本地 10000 张卡 × 400 Gbps 数 Pbps 级总带宽。但跨城长距 DWDM 光纤租赁费用极高通常只租少量链路Tbps 级。出口成为针眼AllReduce 的巨大梯度流涌向出口瞬间被削峰填谷触发 PFC 反压风暴甚至导致 NCCL 超时崩溃。维度三协议层——巴别塔困境。不同智算中心用的协议可能完全不同A 用 InfiniBandB 用 Spectrum-XGSRoCE 改版C 还在跑 TCP/IP。拥塞控制算法互不识别IB 流控遇到 RoCE PFC 鸡同鸭讲MTU 大小不一致IB 默认 4KB 帧RoCE 可能只支持 1.5KB跨域必须在边界网关做分片重组Fragmentation本身开销巨大。维度四调度层——全域灵活适配是空谈。全域资源池不是一大块内存而是散落各地带不同延迟标签的碎片。调度面临三难数据在哪训练数据就近存储拷贝 TB 级数据集到远端的时间可能比训练时间还长。通信亲和性让跨 DC 的 GPU 做频繁 AllReduce 会死得很难看调度器必须强行任务本地化。故障孤立长距链路风吹日晒误码率高一旦超时全域作业全部回滚。结论Scale-Across 当前并非为了实时协同训练而是为了算力错峰调度和数据灾备。在全光交换商用之前跨域长距只能当低速冷存储用而非热同步的高性能计算池。三、中兴星云智算网络一体化方案3.1 方案总览端-网-域三级架构核心理念融合 Scale-Up / Out / Across 模式不再各搞各的。架构基础以自研芯片为核心构建端-网-域三级架构。目标实现全链路高速互联打破网络制裂瓶颈支撑万亿参数大模型训练。3.2 Scale-Up 层凌云芯片 OLink解决的痛点传统 PCIe 带宽受限100GB/s、仅支持 8 卡互联。方案自研凌云芯片OLink 高速互联总线。OLink 是这条技术线的核心产品。它不是纯粹的私有物理链路像 NVLink 那样而是基于以太网 SerDes 深度改造在事务层植入内存语义Load/Store和在网计算能力的混血高速互联方案。3.2.1 OLink协议技术解析1物理层PHY聪明的拿来主义。直接复用成熟的112G SerDes以太网生态支持背板/铜缆/光纤借用标准光模块降低成本。最具工程巧思的地方是 FEC前向纠错选择——传统以太网用 RS(544,514) 长码纠错能力强但时延高OLink 针对 Scale-Up 短距场景新增支持轻量级 FEC编解码时延减少在 TP 每微秒都要同步的场景下极为关键。2链路层Link Layer甩掉 PFC 死锁包袱。CBFC信用流控抛弃全局暂停PFC改用点到点信用授权。并且做到只在两点间微调不向全网蔓延。链路级重传LLR Go-Back-N在逐跳链路层做重传优化重传机制极大压制长尾延迟。3事务层Transaction Layer真正的灵魂——内存语义。极致低延迟单端访问延迟低至μs级别——虽逊于 NVLink 4.0~200ns但已足够覆盖绝大多数 Scale-Up 场景。统一内存编址UVAGPU 可以直接执行 Load/Store 原子操作读写对方显存不需 DMA 打包驱动中断。双模语义同时支持细粒度访存Load/Store适配 TP和粗粒度搬移RDMA适配 PP。4在网计算INC与逐包喷洒凌云交换机芯片集成算术单元转发过程中直接做多路数据归约求和Reduce大模型训练效率大大提升。发端 GPU 多平面间做逐包负载均衡Packet Spraying接收端支持乱序重组彻底解决 ECMP 哈希碰撞问题。OLink 的终极差异化支持 Scale-Up 与 Scale-Out 统一组网。OLink 报文封装在标准以太网帧内——从协议栈上看机箱内和机箱外跑的是同一套OLink 语言。长期愿景是打破CPU 为中心的主从结构构建不分机内机外的扁平大网实现真正的内存池化Memory Pooling。3.2.2 客观评估维度亮点工程现实绝对延迟1.2μs 远超RoCE距离 NVLink~0.1μs仍有10 倍差距极端 TP 切 64 份时仍会造成 GPU Stall生态成本复用标准以太网光模块必须使用高品质铜缆/光纤轻量 FEC 抗干扰能力下降统一组网协议统一未来可跨机箱内存池化10 米时光速延迟累积和信号衰减可能迫使协议退化回普通 RDMA 模式软件生态硬件指标强悍CUDA 生态是万亿行代码护城河OLink 需在 PyTorch 等框架中深度适配3.3 Scale-Out 层天屹芯片 RDMA 网卡硬件基础自研天屹芯片 定制海 RDMA 网卡网络模式端网协同机间网络扩展能力千卡级 → 百万卡级无缝扩展CLOS 组网模式单 PoD 支持16K GPU多 PoD 可演进扩展至百万 GPU满足未来10 年算力需求针对大规模集群痛点的技术对策技术解决什么问题指标ENCC 无损技术保证吞吐率、极低丢包吞吐率90%丢包率0.0001%IGLB 技术ECMP 负载不均 → 流量均衡动态流量均衡双平面冗余组网 ARN 技术故障快速恢复亚毫秒级故障切换这套方案本质上是用 ENCC 无损技术保证 RoCE 类似 IB 的可靠性吞吐率和丢包率指标逼近 IB用 IGLB 替代 ECMP 解决负载均衡问题用双平面冗余ARN 保证高可用。3.4 Scale-Across 层Spine 直连 OTN IPCN跨域解决的核心问题单 DC 算力极限 跨域训练痛点三剑客分工组件角色解决的问题Spine 直连砍掉中间商PoD 内 Spine 直接对接 OTN 设备减少电域转发跳数节省微秒级处理延迟OTN光传送网电信级长距传输解决长距光衰80km 信号衰减 波分复用DWDM省下天价光纤租赁费IPCN智能主动拥塞通知主动式预警交换机 AI 引擎实时预测队列趋势不等缓存填满就主动生成拥塞通知报文插队送回源端响应时间从 RTT 级压缩到微秒级IPCN 是这套方案的避震器——也是敢做到 8:1 收敛比的底气所在。传统 ECN 是被动式缓存满了才打标发现→反馈需走完一个 RTT比如 1ms等降速指令到达源端早就撑爆了。IPCN 是主动式——预测到即将拥塞就立即通知把拥塞反应时间压到微秒级。宁可让跨域同步慢一点也绝不触发暴力重传导致训练 Hang 死。关键规格规格项数值多厂商 GPU 异构互联支持单 DC 扩展上限7 个 PoD集群规模支持十万卡级跨 PoD 收敛比8:1Spine 缓存8GB 超大缓存吸收长距突发流量工程验证距离300km拉远场景训练算力影响1024 卡训练下影响0.13%这是一套极为务实的防守型跨域方案。不像 Google OCS 追求物理层绝对无拥塞而是承认长距延迟不可破转而用 IPCN 智能算法把波动压制在不触发训练崩溃的底线之上。最适合的场景同城或邻城300公里的多个国产 GPU 智算中心并网跑对延迟不敏感的数据并行微调或异步备份。
一、概览1.1 一句话读懂大模型训练的算力瓶颈已经从买更多 GPU 卡转向让这些卡真正高效地协同工作当前业界围绕 Scale-Up机箱内、Scale-Out跨节点、Scale-Across跨数据中心三条路径各自推进但每条路都有致命硬伤因此真正的破局之道在于以自研芯片为基石构建网络一体化方案在 Scale-Up、Scale-Out、Scale-Across 三大领域之间实现高效协同与桥接。1.2 为什么是现在大模型时代有两个基本事实碰在一起把问题逼到了台面上第一模型参数呈指数增长。GPT-3 是 1750 亿参数到 GPT-4 级别已经是万亿甚至十万亿级别。单张 GPU 显存装不下必须拆到多张、多台、多个数据中心上去。第二GPU 单卡算力提升越来越慢。摩尔定律放缓制程从 7nm 到 5nm 到 3nm每代性能提升从过去的 2x 缩减到 1.3~1.5x。靠堆卡来弥补——但堆卡之后卡和卡之间的通信成了新的瓶颈。这两个事实叠加的结果就是算力瓶颈从单卡转向了系统协同网络互联成了关键制约因素。这不是一个能靠买更快的网卡解决的问题。它牵扯到底层总线协议、交换拓扑、拥塞控制算法、跨域调度——一整套系统工程。二、三大互联模式的定义与技术特征2.1 Scale-Up纵向扩展——机箱内的战争2.1.1 PCIe 的物理瓶颈为什么 64 GB/s 喂不饱 MoE 和 TP16~64原文一句话点出了 Scale-Up 最核心的问题Scale-Up 架构受限于 PCIe 带宽难以满足 MoE、TP16~64 等高并行需求。这句话值得拆开来看因为它精准命中了 AI 大模型硬件架构的一个致命软肋。PCIe 带宽跟不上需求发展目前最先进的PCIe 5.0 x16单向理论带宽约64 GB/s。这个数字看起来不小——但如果把它放到 AI 训练的场景里立刻就不够用了通信方式双向带宽延迟适用场景PCIe 5.0 x16≈128 GB/s纳秒级普通数据传输、小模型加载NVLink 4.018 NVLink≈900 GB/s总聚合纳秒级TP / MoE 高并行NVLink 5.018 NVLink≈1800 GB/s总聚合纳秒级TP / MoE 高并行NVLink4.0 全互联的总聚合带宽是 PCIe 的14倍多。如果硬要用 PCIe 跑 TP64 或 MoE 会发生什么两种灾难同时发生灾难一GPU 空转饥饿。TP64 时每张卡算一个矩阵乘法只要毫秒级但算完后要把 64 张卡的结果通过 PCIe 汇总同步。带宽窄导致这个过程要花几十毫秒。GPU90% 的时间在等数据只有 10% 在真正计算。花了 64 张卡的钱只买到 6 张卡的算力。灾难二MoE 的 All-to-All 通信风暴。MoE 模型每次推理只激活部分专家导致 GPU 之间产生大量碎片化的 All-to-All 通信——每个 Token 都要在几十张卡之间乱序广播。虽然PCIe 在物理层是点对点串行连接不存在以太网意义上的碰撞。但问题出在 PCIe Switch 上所有 GPU 挂在同一块 Switch 芯片下Switch 的上行端口带宽有限现在主流单上行配置PCIE5.0 x16只有 64GB/s。当 64 张卡同时往同一个目标发数据时Switch 的出口端口瞬间成为瓶颈缓存溢出后触发信用耗尽反压导致各GPU实际能利用的有效带宽暴跌。打个比方PCIe 像多条独立的地下管道互不干扰但 PCIe Switch 就像一个快递分拣中心——多个发货点同时发货通往 CPU 的传送带只有一条快递在分拣中心堆成山分拣中心只能举着暂停发货的牌子让所有人原地等待。2.1.2 NVLink 与 NVL72英伟达的超节点答卷面对 PCIe 的瓶颈英伟达给出的答案是 NVLink。NVLink 的核心能力以 H100 为例NVLink 4.0 总带宽高达 900 GB/s通过NVSwitch实现多卡全互联代表产品NVL72 超节点——通过 NVLink NVSwitch 实现72 卡 GPU算力聚合这确实解决了机箱内的高吞吐需求。但 NVLink 带来了一个新问题。2.1.3 NVLink 的封闭性困境Scale-Up与Out两各领域无法有效协同这个问题比贵不贵更深——它是结构性的体现在三个层面第一层物理带宽的断崖式落差。NVLink 机箱内 900 GB/s而跨节点的 InfiniBand NDR 或 RoCE 单端口只有400 Gb/s≈50 GB/s。数据要从机箱内流出去必须经过NVLink → PCIe → 网卡 → 光缆这条路。相当于让高铁换乘绿皮火车。NVLink 的性能被网卡出口带宽死死卡住发挥不出来。这就决定了TP 绝对不允许跨节点——只能在机箱内玩。第二层协议语义的鸡同鸭讲。NVLink 支持细粒度的缓存一致性Cache CoherencyGPU 可以直接原子操作对方显存里的变量延迟纳秒级。而 Scale-Out 网络IB/RoCE基于 RDMA传输的是粗粒度的消息传递Message Passing不维护缓存一致性。当 NVLink 想通过 Scale-Out 去细腻地访问另一台服务器的显存时对方根本不认这套指令。集合通信库NCCL必须人为做硬分割机箱内跑细腻的 TP机箱外跑粗糙的 PP/DP两种模式无法交织。第三层商业生态的私有壁垒。NVLink 是 NVIDIA 独家专利不对外开放。Scale-Out 网卡必须插在PCIe 插槽上——也就是说即使 NVLink 内部跑得飞起所有流出机箱的数据都必须排队挤过 PCIe 这个收费站才能进入网卡。如果你想拥有 NVLink 级别的聚合带宽只能买 NVIDIA 的 DGX SuperPOD 整机柜方案。即便如此内部依然是物理隔离的两个独立网络平面——NVLink Domain 和 InfiniBand Fabric 由 NCCL 负责翻译底层硬件根本不知道对方的存在。最终结果TP 的卡数永远无法超过单台服务器内的 GPU 数量通常是 8 卡。如果你想搞 TP64就必须把 64 张卡塞进一台巨型服务器如 GB200 NVL72本质上还是 Scale-Up。行业对抗的力量正在聚集——Google、AMD、Intel、AWS 推出的UALink 联盟旨在打造开放的、覆盖机箱内外的高速互联标准试图打破 NVLink 的私有枷锁。此外还有 SUE、ESUN 等总线型和以太型互联技术相继出现。整个 Scale-Up 互联生态较为碎片化短时间内难以收敛统一。2.2 Scale-Out横向扩展——跨节点的博弈2.2.1 RDMA绕过 CPU 的极速通道“Scale-Out 通过 RoCEv2 或 InfiniBand 构建跨节点网络承载 PP、DP 通信。”这句话背后是一套完整的通信技术栈。传统 TCP/IP 网络中GPU 发数据要经过 CPU 打包再发给网卡接收方也要 CPU 解包再给 GPU——延迟几十微秒CPU 还被占满。RDMA远程直接内存访问的核心思路是让 GPU 的数据直接通过网卡塞进对方服务器的 GPU 显存里全程绕过 CPU 和操作系统内核。两条主流技术路线RoCEv2基于融合以太网的 RDMA利用无损以太网实现 RDMA延迟几微秒成本低于 InfiniBand。InfiniBandIB无限带宽从物理层到协议层原生为 RDMA 设计丢包率极低带宽极高如 NDR 400 Gbps是 AI 超算的黄金标准——但极贵。一句话总结用这两者是为了在跨服务器的长距离传输中模拟出本地显存访问的极速错觉。2.2.2 并行策略的工程分层为什么 TP 不出机箱PP 和 DP 走 Scale-OutTP、EP留在机箱内 ——这段话体现了工程分层设计的思想。不同并行策略对网络的诉求天差地别并行策略通信方式通信频率单次数据量部署归属TP/EP张量/专家并行All-Reduce/All-to-All全局同步极高每层矩阵运算都同步较小但极频繁Scale-Up机箱内——例如NVLinkPP流水线并行点对点 Send/Recv较低仅层边界通信中等Scale-Out跨节点——可用 IB/RoCEDP数据并行All-Reduce / All-Gather中等每个 Step 结束时同步极大全量梯度Scale-Out跨节点——可用 IB/RoCETP 天生挑食——它要求每 1 毫秒同步好几次对延迟极度敏感。RoCE 跨机箱走光纤有物理光速延迟微秒级比 Scale-Up总线纳秒级慢上百倍。所以TP 打死不出机柜。PP 和 DP 对延迟迟钝得多——PP 只在层间传数据频率低DP 虽然单次数据量极大要把几十 GB 梯度广播给所有节点但它可以和计算重叠Overlap且只在每个 Batch 结束时发生。它要的是高带宽InfiniBand / RoCE 恰好能提供几百 Gbps 的超高吞吐。全球顶级 AI 集群的通信层级设计都是这套逻辑层级 1机箱内NVLink NVSwitch → TP层级 2机柜间 / 节点间InfiniBand / RoCE → DP PP层级 3跨数据中心普通 TCP/IP 或专用光链路 → 数据备份和 Checkpoint 保存2.2.3 万卡级集群三大拦路虎Incast、ECMP、稳定性痛点非常明确依赖 RDMA 与 AllReduce 实现万卡聚合面临 Incast 拥塞、ECMP 负载不均、协议稳定性差等问题导致训练效率下降。这三个问题被业界称为大规模分布式训练的三大拦路虎。痛点一Incast 拥塞——万箭穿心型堵车AllReduce 的底层包含 Reduce-Scatter归约散射阶段。某个瞬间成百上千张卡同时把数据发往同一台 Leaf 交换机下的某一张卡。交换机下行端口带宽有限400 Gbps当数十个入口同时以满速率涌入同一出口时缓存瞬间填满。RDMA 协议为保证无损触发PFC优先级流控反压——交换机反向通知所有源端给我停结果一卡拥堵整个环网暂停所有 GPU 进入空转状态Stall算力瞬间清零。痛点二ECMP 负载不均——赌运气式的路由ECMP等价多路径通过哈希算法决定数据包走哪条链路。它的机制分三步走摘取身份证从数据包头部提取五元组源 IP、目的 IP、源端口、目的端口、协议号作为 Hash Key。代入搅拌机用 CRC32 或 Toeplitz Hash 算法把五元组算出一个随机化数值。求余选车道用该数值除以可用链路数取余数决定走哪条物理端口。关键约束ECMP 基于流而非包做负载均衡——同一个流的所有包必定走同一条链路保证按序到达。这套机制在普通互联网上很好用——海量用户产生海量不同的五元组哈希自然打散。但在 AI 训练场景中崩溃了AI 集群只有几千个 GPU 在互相通信IP 地址固定、RDMA 采用固定端口五元组的变量极少。32 个AllReduce 大象流去计算哈希可能恰好5 个大流撞在同一条链路上另一条链路却闲置。这就是所谓的哈希极化Hash Polarization——集群的有效带宽不是你买的总带宽而是最堵的那条链路的带宽 × 路数。痛点三RoCE 协议的玻璃心RoCE 要求零丢包。一旦 Incast 拥塞导致丢包哪怕只丢 1 个包RDMA 网卡不会像 TCP 那样优雅重传而是触发激烈的NAK 重传风暴。PFC 反压信号可能在多台交换机之间蔓延引发PFC 死锁风暴甚至导致整个网络域卡死Livelock。更可怕的是尾延迟分布——99% 的包延迟 1 微秒但 1% 因重传/反压达到几百毫秒。而 AllReduce 是木桶效应——只要这 1% 的慢包出现一万张卡都得等它。综合结果算力利用率MFU暴跌网络等待时间占据迭代周期的比例从理想 10% 飙升到现实40%~60%。万卡集群的网络硬件平均无故障时间MTBF按小时计算一周中有两天可能在重启检查点。2.2.4 CLOS 拓扑的 K² 成本陷阱节点越多越贵传统 CLOS 拓扑随着节点增多端口密度与互联带宽呈指数级增长设备成本与功耗激增。这不是夸张——背后的数学是残酷的 K²平方增长。CLOS叶脊 Spine-Leaf架构为了保持无阻塞1:1 无收敛比假设有 K 台 Leaf 交换机那么 Spine 交换机的数量也必须是 K 台或更多。每台 Leaf 要连接所有 K 台 Spine整个集群的互联链路总数 K × K K²。当 GPU 节点从 1000 台增加到 10000 台K 扩大 10 倍需要的物理光缆和端口数不是增加 10 倍而是暴增100 倍。K² 链路背后藏着三个烧钱的无底洞交换机芯片 Die 面积爆炸顶级 Spine 交换机如 Broadcom Tomahawk 5裸片面积巨大功耗几百瓦内部 Crossbar 矩阵随端口数呈 N² 增长流片成本指数级上升。光模块天价堆积400G/800G 光模块单价数百至上千美元。万卡集群链路总数可达百万级需要 200 万个光模块总成本往往超过 GPU 本身功耗占总功耗 20%~30%。布线噩梦上万根光纤密密麻麻缠绕机房地板承重告急气流组织堵塞散热功耗飙升。AI 训练还要额外暴击一刀它要求严格的全互联1:1 无收敛因为 AllReduce 在同步梯度时要求所有链路同时跑满。为了满足这几毫秒的峰值你花几千万买的 Spine 交换机在剩下99.9% 的时间是闲置的。业界的应对之策无非两条路降低收敛比接受 1:2 或 1:3用算法层面的通信隐藏来弥补放弃 CLOS 改用新型拓扑Torus 环面 / Dragonfly 蜻蜓 / Google OCS 光电路交换拓展Google OCS用镜子代替路由器Google TPU v4 及 Jupiter 网络采用的光电路交换OCSOptical Circuit Switching是目前最激进的物理层革命。OCS 内部是成千上万面MEMS 微机电反光镜组成的光学交换矩阵。工作流程极其简单光信号从 A 服务器进入 OCS中央调度器控制某面小镜子物理倾斜微秒级调整光被反射直接飞向 B 服务器的光纤出口。整个过程完全在光域进行不解析 IP 地址不查路由表不做 Hash。OCS 凭什么解决 CLOS 的 K² 噩梦它本质是一个非阻塞交叉连接矩阵——只要 OCS 有 N 个输入口和 N 个输出口就能实现任意的一对一直连。这让网络拓扑从多级跳转Leaf→Spine→Leaf变成了光速直达Leaf→OCS→Leaf。端口密度可以做到数千个双向端口内部只需要 N×N/2 面镜子硬件线性增长而不是电交换的 N² 逻辑门增长。OCS 对 AI 流量的最大优势在于彻底消灭 Incast 和 ECMP 问题——它不靠 Hash 去猜负载而是靠中央调度器提前毫秒级预约物理通路。在 AllReduce 爆发前的一瞬间物理电路已经提前连通数据走专线绝无丢包。代价也很明显MEMS 镜子物理转动需要毫秒级10~20ms无法处理突发小流光路损耗需要高功率发射或放大器定制化设备没有量产货只有 Google 这种全栈玩家玩得转。如果你不在 Google 工作且集群规模小于 1 万卡老老实实优化 RoCE 的 ECMP Hash 因子或用 IB 自适应路由才是务实的解法。2.3 Scale-Across跨域互联——光速也救不了的难题2.3.1 Spectrum-XGS英伟达的跨域答卷英伟达推出的Spectrum-XGS Ethernet 跨域互联技术旨在通过自适应距离拥塞控制、精准延迟管理等先进特性将多个分布式数据中心无缝整合构建起千亿级参数的 AI 超级工厂。Spectrum-XGS 不是简单的换皮交换机而是对传统 RoCE 进行外科手术级改造的产品专门破解上述 Incast、ECMP、PFC 三大痛点突破一逐包动态路由破解 ECMP。传统 ECMP 靠静态 Hash 取余导致大象流撞车。Spectrum-XGS 实时监测每个输出端口的队列深度支持逐包动态选路——同一个大流的包 A 走链路 1包 B 发现链路 1 堵了就走链路 2。接收端 BlueField-3 DPU 内置硬件级重排序引擎先重组再交给 GPU骗过上层协议。突破二主动遥测智能调速消除 PFC 死锁。网卡和交换机实时交换拥塞标记ECN交换机在缓存还没满时就打标通知源端源端收到后主动平滑降速——把急刹车PFC 触发丢包重传“变成提前松油门主动限速”网络利用率从传统 RoCE 的 50%~60% 压榨到95% 以上。突破三跨域聚合千亿超级工厂。通过精确测量两地光纤物理延迟并提前预加载让跨 DC 通信与本地计算完美重叠引入拥塞隔离机制防止背压跨域蔓延。对比一览维度传统 RoCEInfiniBandSpectrum-XGS负载均衡ECMP 静态哈希自适应路由粗粒度逐包动态喷洒极细粒度拥塞控制PFC 被动反压易死锁IB 专用流控稳定但封闭主动遥测智能调速无死锁跨域能力极差极少用于长距原生支持专为多 DC 设计代价是必须买 NVIDIA 的 Spectrum 交换机 BlueField DPU又是一笔不菲的生态税。2.3.2 跨域四大核心难题物理定律暴击 巴别塔困境Scale-Across 面临的挑战具体表现为往返时延RTT高1ms、丢包率高、带宽收敛严重同时不同智算中心在拓扑结构、硬件设备、通信协议等方面存在差异导致协同调度难度大跨域算力调度效率低下。拆成四个维度来看维度一物理层——RTT 1ms同步屏障崩塌。光速不可突破。光在真空中每毫秒走 300 公里在光纤中约200 km/ms。RTT 1ms 意味着两地距离至少 100 公里。大模型训练是同步的——AllReduce 要求所有 GPU 等最慢的那个包到达。本地通信只需 1 微秒跨 DC 要 1 毫秒延迟放大 1000 倍。如果每秒同步 100 次1000 张卡的算力会被钉死在原地空转MFU 直接腰斩再腰斩。维度二带宽层——收敛比骤增高速公路变乡间小道。本地 10000 张卡 × 400 Gbps 数 Pbps 级总带宽。但跨城长距 DWDM 光纤租赁费用极高通常只租少量链路Tbps 级。出口成为针眼AllReduce 的巨大梯度流涌向出口瞬间被削峰填谷触发 PFC 反压风暴甚至导致 NCCL 超时崩溃。维度三协议层——巴别塔困境。不同智算中心用的协议可能完全不同A 用 InfiniBandB 用 Spectrum-XGSRoCE 改版C 还在跑 TCP/IP。拥塞控制算法互不识别IB 流控遇到 RoCE PFC 鸡同鸭讲MTU 大小不一致IB 默认 4KB 帧RoCE 可能只支持 1.5KB跨域必须在边界网关做分片重组Fragmentation本身开销巨大。维度四调度层——全域灵活适配是空谈。全域资源池不是一大块内存而是散落各地带不同延迟标签的碎片。调度面临三难数据在哪训练数据就近存储拷贝 TB 级数据集到远端的时间可能比训练时间还长。通信亲和性让跨 DC 的 GPU 做频繁 AllReduce 会死得很难看调度器必须强行任务本地化。故障孤立长距链路风吹日晒误码率高一旦超时全域作业全部回滚。结论Scale-Across 当前并非为了实时协同训练而是为了算力错峰调度和数据灾备。在全光交换商用之前跨域长距只能当低速冷存储用而非热同步的高性能计算池。三、中兴星云智算网络一体化方案3.1 方案总览端-网-域三级架构核心理念融合 Scale-Up / Out / Across 模式不再各搞各的。架构基础以自研芯片为核心构建端-网-域三级架构。目标实现全链路高速互联打破网络制裂瓶颈支撑万亿参数大模型训练。3.2 Scale-Up 层凌云芯片 OLink解决的痛点传统 PCIe 带宽受限100GB/s、仅支持 8 卡互联。方案自研凌云芯片OLink 高速互联总线。OLink 是这条技术线的核心产品。它不是纯粹的私有物理链路像 NVLink 那样而是基于以太网 SerDes 深度改造在事务层植入内存语义Load/Store和在网计算能力的混血高速互联方案。3.2.1 OLink协议技术解析1物理层PHY聪明的拿来主义。直接复用成熟的112G SerDes以太网生态支持背板/铜缆/光纤借用标准光模块降低成本。最具工程巧思的地方是 FEC前向纠错选择——传统以太网用 RS(544,514) 长码纠错能力强但时延高OLink 针对 Scale-Up 短距场景新增支持轻量级 FEC编解码时延减少在 TP 每微秒都要同步的场景下极为关键。2链路层Link Layer甩掉 PFC 死锁包袱。CBFC信用流控抛弃全局暂停PFC改用点到点信用授权。并且做到只在两点间微调不向全网蔓延。链路级重传LLR Go-Back-N在逐跳链路层做重传优化重传机制极大压制长尾延迟。3事务层Transaction Layer真正的灵魂——内存语义。极致低延迟单端访问延迟低至μs级别——虽逊于 NVLink 4.0~200ns但已足够覆盖绝大多数 Scale-Up 场景。统一内存编址UVAGPU 可以直接执行 Load/Store 原子操作读写对方显存不需 DMA 打包驱动中断。双模语义同时支持细粒度访存Load/Store适配 TP和粗粒度搬移RDMA适配 PP。4在网计算INC与逐包喷洒凌云交换机芯片集成算术单元转发过程中直接做多路数据归约求和Reduce大模型训练效率大大提升。发端 GPU 多平面间做逐包负载均衡Packet Spraying接收端支持乱序重组彻底解决 ECMP 哈希碰撞问题。OLink 的终极差异化支持 Scale-Up 与 Scale-Out 统一组网。OLink 报文封装在标准以太网帧内——从协议栈上看机箱内和机箱外跑的是同一套OLink 语言。长期愿景是打破CPU 为中心的主从结构构建不分机内机外的扁平大网实现真正的内存池化Memory Pooling。3.2.2 客观评估维度亮点工程现实绝对延迟1.2μs 远超RoCE距离 NVLink~0.1μs仍有10 倍差距极端 TP 切 64 份时仍会造成 GPU Stall生态成本复用标准以太网光模块必须使用高品质铜缆/光纤轻量 FEC 抗干扰能力下降统一组网协议统一未来可跨机箱内存池化10 米时光速延迟累积和信号衰减可能迫使协议退化回普通 RDMA 模式软件生态硬件指标强悍CUDA 生态是万亿行代码护城河OLink 需在 PyTorch 等框架中深度适配3.3 Scale-Out 层天屹芯片 RDMA 网卡硬件基础自研天屹芯片 定制海 RDMA 网卡网络模式端网协同机间网络扩展能力千卡级 → 百万卡级无缝扩展CLOS 组网模式单 PoD 支持16K GPU多 PoD 可演进扩展至百万 GPU满足未来10 年算力需求针对大规模集群痛点的技术对策技术解决什么问题指标ENCC 无损技术保证吞吐率、极低丢包吞吐率90%丢包率0.0001%IGLB 技术ECMP 负载不均 → 流量均衡动态流量均衡双平面冗余组网 ARN 技术故障快速恢复亚毫秒级故障切换这套方案本质上是用 ENCC 无损技术保证 RoCE 类似 IB 的可靠性吞吐率和丢包率指标逼近 IB用 IGLB 替代 ECMP 解决负载均衡问题用双平面冗余ARN 保证高可用。3.4 Scale-Across 层Spine 直连 OTN IPCN跨域解决的核心问题单 DC 算力极限 跨域训练痛点三剑客分工组件角色解决的问题Spine 直连砍掉中间商PoD 内 Spine 直接对接 OTN 设备减少电域转发跳数节省微秒级处理延迟OTN光传送网电信级长距传输解决长距光衰80km 信号衰减 波分复用DWDM省下天价光纤租赁费IPCN智能主动拥塞通知主动式预警交换机 AI 引擎实时预测队列趋势不等缓存填满就主动生成拥塞通知报文插队送回源端响应时间从 RTT 级压缩到微秒级IPCN 是这套方案的避震器——也是敢做到 8:1 收敛比的底气所在。传统 ECN 是被动式缓存满了才打标发现→反馈需走完一个 RTT比如 1ms等降速指令到达源端早就撑爆了。IPCN 是主动式——预测到即将拥塞就立即通知把拥塞反应时间压到微秒级。宁可让跨域同步慢一点也绝不触发暴力重传导致训练 Hang 死。关键规格规格项数值多厂商 GPU 异构互联支持单 DC 扩展上限7 个 PoD集群规模支持十万卡级跨 PoD 收敛比8:1Spine 缓存8GB 超大缓存吸收长距突发流量工程验证距离300km拉远场景训练算力影响1024 卡训练下影响0.13%这是一套极为务实的防守型跨域方案。不像 Google OCS 追求物理层绝对无拥塞而是承认长距延迟不可破转而用 IPCN 智能算法把波动压制在不触发训练崩溃的底线之上。最适合的场景同城或邻城300公里的多个国产 GPU 智算中心并网跑对延迟不敏感的数据并行微调或异步备份。
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
