GPU中专业术语

一、NCCL

NCCL = NVIDIA Collective Communications Library（英伟达集合通信库）

• 不是协议，是软件库
• 负责把 AllReduce / AllGather / ReduceScatter 等collective 操作拆分成适合底层硬件的传输方式
• 自动选择走：
  • GPU←→GPU →NVLink / NVSwitch
  • GPU←→NIC →PCIe
  • 节点←→节点 →RDMA（RoCE / InfiniBand）

✅ 你原文说得很准：NCCL 是在这些边界上做"可执行数据搬运编排"

二、NVLink

NVLink = NVIDIA 高速 GPU 互联总线（High-Speed GPU Interconnect）

• GPU 与 GPU 之间的直接点对点/全连接通道
• 带宽远高于 PCIe（NVLink 单向可达 300~900 GB/s 级别，PCIe 4.0 x16 ≈ 32 GB/s）
• 多