基金定投助手为什么你的基金定投总在追涨杀跌价值平均法定投引擎 综合估值模型动态再平衡仓位管理一个单文件 HTML 的免费定投工具-CSDN博客https://download.csdn.net/download/weitingfu/93339607?spm1011.2124.3001.6210本文为《AI 硬件体系深度调研》系列第 14 篇。前面几篇拆了芯片、脉动阵列、互联、加速卡组成都是静态结构。这一篇换一个视角——动态流程一次训练任务从你敲下命令到结果回传那块插在机箱里的卡到底忙了些什么黄金 100 字你是否好奇你敲一行训练命令那块插在机箱里的卡到底忙了些什么硬件原理讲架构的多讲’一次任务从头到尾怎么跑’的少。本文用四步闭环带你从指令下发一路跟到结果回传。一、四步工作闭环总览1.1 先建立全局视角加速卡执行一次 AI 任务无论训练还是推理都可以抽象成四步闭环指令解析 → 数据调度 → 并行计算 → 结果回传这四步就像工厂流水线的四个工位数据从一端进去经过层层处理结果从另一端出来再回到起点开始下一轮。理解了这个闭环你就知道加速卡忙的时候到底在忙什么。1.2 四步分别做什么把这四步展开每一环的职责如下步骤环节做什么类比1指令解析框架拆解指令经 PCIe 下发到卡派工单2数据调度控制单元经 NoC 调度张量核心调度员3并行计算从 HBM/缓存加载数据脉动阵列计算生产线4结果回传结果回 HBM或转发给其他卡成品入库1.3 为什么叫闭环叫闭环是因为这四步不是一次性跑完就结束而是循环往复的。训练时一个 batch 算完梯度要回传更新参数再开始下一个 batch推理时一个 token 生成完要把它拼进上下文再生成下一个 token。结果回传不是终点而是下一轮指令解析的起点。整个模型训练/推理就是这四步循环成千上万次的过程。 一句话加速卡的工作本质是**派单 → 调度 → 生产 → 入库的流水线无限循环**。理解这个闭环是看懂后面所有细节的地图。1.4 四步闭环与前几篇的硬件组件一一对应这四步闭环不是凭空抽象它正好能映射到前几篇拆过的硬件组件上闭环步骤对应硬件组件本篇前几篇出处指令解析PCIe 主机接口第 12 篇主机 PCIe 5/6数据调度控制单元 NoC本篇第二章并行计算脉动阵列 HBM 缓存第 06 篇脉动阵列、第 09 篇HBM结果回传HBM 写回 多卡互联第 13 篇多卡互联这四步对应关系告诉我们前面的静态结构是为了支撑现在的动态流程。芯片、脉动阵列、HBM、PCIe、互联这些组件各司其职组合起来就是一条计算流水线。 一句话结构是器官流程是呼吸。前几篇看懂了加速卡的器官这一篇看它们怎么协同呼吸完成一次完整的计算。二、指令下发与 NoC 调度2.1 第一步指令是怎么下发到卡的你敲下python train.py背后发生的第一件事是深度学习框架如 PyTorch把你的训练代码拆解成一条条底层指令。这些指令描述了做什么运算、用什么数据、结果放哪里然后通过 PCIe 接口下发到加速卡。具体来说框架把神经网络算子矩阵乘、卷积、激活等翻译成加速卡能懂的指令这些指令连同数据指针打包成命令队列通过 PCIe 传输到加速卡的控制单元。 生活化类比框架像项目经理解读客户需求拆成一张张工单PCIe 像传送带把工单送到工厂门口。工单到了工厂才开始干活。2.2 第二步NoC 是什么为什么需要它指令进卡之后谁来调度答案是控制单元而控制单元调度算力资源的手段是一个关键组件——NoCNetwork on Chip片上网络。NoC 是芯片内部的网络负责在芯片内部把数据、指令路由到正确的计算单元。为什么需要 NoC因为现代加速卡芯片巨大里面有成千上万个计算单元张量核心、缓存、HBM 接口。这些单元之间要频繁通信如果用传统总线带宽不够、容易拥塞用 NoC片上网络就能像城市路网一样多路并行、灵活路由。 生活化类比NoC 像芯片内部的城市交通网络。传统总线像一条主干道车多了就堵NoC 像四通八达的路网车可以分流到不同道路还能绕开拥堵路段。2.3 NoC 调度的核心把数据送到张量核心控制单元经 NoC 调度最终目标是把正确的数据在正确的时间送到正确的张量核心。这个过程要解决几个问题数据路由数据从 HBM 到缓存再到张量核心走哪条路最短、最不拥堵负载均衡让成千上万个张量核心都有活干避免有的忙死、有的闲死同步多个张量核心协作计算时要保证数据对齐、时序正确。⚠️ 避坑提醒NoC 拥塞会直接影响整卡吞吐。如果 NoC 某条路径堵了数据送不到张量核心再强的算力也只能干等。这也是本篇结尾思考题要讨论的问题。2.4 NoC 与传统总线的本质区别要真正理解 NoC 的价值得把它和传统总线做个对比。传统总线Bus像一条主干道所有单元都挂在这条道上通信要抢道同一时间只能有一对单元通信其他单元等着单元越多抢得越凶性能下降越严重。NoC片上网络像一张城市路网多个单元之间有多条路径可以并行通信数据可以分流走不同的路避免拥堵单元越多路网的并行优势越明显扩展性远好于总线。 一句话传统总线是一根独木桥NoC 是立体交通网。芯片里的计算单元越多NoC 的路网优势就越关键——这正是现代大芯片告别总线、拥抱 NoC的根本原因。2.5 NoC 的常见拓扑形态NoC 也不是随便拉几条线它有典型的拓扑结构拓扑结构特点网格Mesh单元排成二维网格布线规整、扩展性好环Ring单元串成环结构简单、成本低树形Tree分层汇聚适合层次化调度交叉开关Crossbar任意两单元直连无阻塞、成本高高端加速卡的 NoC往往是混合拓扑——用网格做主体关键路径用交叉开关保证无阻塞兼顾成本和性能。 一句话NoC 拓扑的设计本质是在成本、性能、扩展性之间找平衡。没有最好的拓扑只有最合适当前芯片规模和算力需求的拓扑。2.6 一次 NoC 调度的微观过程把 NoC 调度放大到微观一次调度其实包含几个连续动作控制单元收到指令解析出需要哪些数据、送到哪个张量核心向 NoC 发出数据搬运请求附上源地址和目标地址NoC 根据拓扑和实时拥塞情况选一条路径数据沿路径分片传输到达目标张量核心张量核心确认收到回报控制单元。这几个动作在纳秒级完成但每一步都可能成为瓶颈——尤其第 3 步选路如果 NoC 拥塞感知做得不好选了条拥堵路径数据传输就会延迟进而拖慢整个计算。 一句话NoC 调度像网约车平台派单——控制单元是乘客张量核心是目的地NoC 是平台。平台选路选得好数据快进快出选得差整张卡都被堵在路上。三、脉动阵列算完怎么回传3.1 第三步脉动阵列的流水线计算数据送到张量核心后真正的计算就开始了。而张量核心内部的计算引擎就是前面第 06 篇讲过的脉动阵列Systolic Array。脉动阵列的工作方式很优雅数据像流水一样在阵列里一波一波地流过每个处理单元PE各算一小步算完把结果传给下一个单元最终从阵列另一端流出完整结果。这个过程有几个关键特点高并行阵列里成百上千个 PE 同时工作高复用权重数据在阵列里被反复使用不用反复从内存读流水线数据源源不断流入结果源源不断流出没有空转。3.2 数据从哪来HBM 与缓存的分工脉动阵列计算需要喂数据数据来源有两条路径HBM大容量、高带宽的片外内存存权重、激活等大数据片上缓存小容量、极低延迟的片内缓存存频繁访问的中间数据。计算时控制单元会先把数据从 HBM 加载到片上缓存再从缓存送进脉动阵列。这个HBM → 缓存 → 脉动阵列的路径就是数据流动的主干线。 生活化类比HBM 是远郊大仓库缓存是车间旁的小货架脉动阵列是生产线。生产时工人先从大仓库取货放到小货架再从货架快速拿料上生产线。小货架缓存离生产线近拿料快所以高频数据要放这里。3.3 第四步算完的结果去哪了脉动阵列算完一个矩阵乘结果有两个去向回 HBM大多数结果先写回 HBM供后续计算使用比如训练时的中间激活、推理时的 KV Cache转发给其他卡多卡训练时梯度等结果需要通过多卡互联转发给其他卡做同步AllReduce。 一句话算完的结果“要么入库回 HBM要么送货转发他卡”。入库的供自己下一步用送货的供别人同步用。这就是结果回传这步的完整含义。3.4 四步闭环串起来看一次完整流动把四步串起来一次完整的任务流动是这样的框架拆解指令经PCIe下发控制单元经NoC调度张量核心数据从HBM/缓存加载进脉动阵列计算结果回HBM或经互联转发其他卡。然后回到第 1 步开始下一轮。这就是加速卡的工作闭环四步循环生生不息。3.5 数据流的三层缓存体系前面提到HBM → 缓存 → 脉动阵列的数据路径其实缓存还可以再细分构成一个三层缓存体系层级位置容量延迟作用HBM片外大几十 GB高存全量数据L2 缓存片上中几十 MB中存跨核心共享数据L1/寄存器核心内小KB 级极低存计算即时数据数据流动的规律是从大而慢到小而快。全量数据放在 HBM大而慢频繁访问的中间数据提升到 L2中计算即时数据放进 L1/寄存器小而快。 生活化类比三层缓存像**“总仓库 → 车间货架 → 工人手边”**。全量货物在总仓库HBM常用料搬到车间货架L2正在加工的料直接放工人手边L1/寄存器。越靠近干活的地方存取越快容量越小。3.6 为什么回传也是性能关键很多人关注算得快不快却忽略了结果送出去快不快。实际上结果回传的带宽同样决定整卡吞吐。如果脉动阵列算得飞快但结果写回 HBM 的速度跟不上计算单元就会堵在输出端只能停下来等。这就是为什么高端加速卡要同时做到高显存带宽和高互联带宽——输入要喂得进输出要送得出两头都要通畅整条流水线才不堵。 一句话计算是中间输入和输出是两头。中间再快两头堵住吞吐就上不去。加速卡的设计是输入、计算、输出三个环节的全局优化缺一不可。3.7 训练与推理同一闭环不同侧重同样是四步闭环训练和推理的侧重却不一样这一点值得单独说清楚。训练时闭环里多了一个关键动作——梯度回传前向计算指令→调度→计算算完得到结果结果回传后还要算梯度再把梯度广播给所有卡做同步整个闭环更重通信结果回传 梯度同步占比更高。推理时闭环更轻没有梯度回传四步闭环就是纯粹的前向流水但多了 KV Cache 的读写显存带宽的压力更突出。 一句话训练是负重前行通信开销大推理是轻装快跑带宽压力大。同一个闭环因任务不同瓶颈位置也不同——这也是为什么训练卡和推理卡在互联和带宽上会有不同取舍。四、2025-2026 高端卡参数4.1 先看一组高端特征数据理解流程之后来看看 2025-2026 年高端加速卡的真实参数。这是源调研报告给出的高端特征很有参考价值维度高端特征单卡芯片数1-2 颗算力芯片显存容量80-192 GB显存带宽3.6 TB/s多卡互联带宽1.8 TB/s单卡功耗500 W这五个数字勾勒出高端加速卡的肌肉轮廓。下面逐个拆解它们的含义。4.2 显存 80-192GB喂得下大模型显存容量 80-192GB这个数字意味着什么大模型的参数、激活、优化器状态、KV Cache全都存在显存里。以训练一个 70B700 亿参数的大模型为例光参数和优化器状态就要吃掉几百 GB 显存参考第 11 篇70B 模型训练显存 560GB 起。单卡 80-192GB 意味着推理时一张卡能放下中等规模的模型不用切分训练时几张大显存卡能承载一个中等模型的训练。显存越大单卡能独立承载的模型越大切分带来的通信开销就越小。4.3 显存带宽 3.6TB/s喂得饱张量核心显存带宽 3.6TB/s这个数字比容量更关键。因为 AI 计算是带宽敏感的——算力芯片算得飞快如果显存喂数据的速度跟不上算力就吃不饱。3.6TB/s 的带宽意味着每秒钟能从显存搬运 3.6 万亿字节的数据这个速度直接决定张量核心能被喂多饱。 一句话显存容量决定能装多少显存带宽决定能喂多快。对大模型推理和训练带宽往往比容量更先成为瓶颈。4.4 多卡互联 1.8TB/s卡间高铁的速度多卡互联带宽 1.8TB/s对应上一篇讲的多卡直连。这个数字意味着卡与卡之间每秒钟能交换 1.8 万亿字节的数据。对比一下PCIe 5.0 x16 单向约 64GB/s1.8TB/s 是它的28 倍。这就是高铁和国道的差距——多卡训练的梯度同步必须靠这么高的互联带宽才不会被通信卡死。⚠️ 避坑提醒单卡算力再强互联带宽跟不上多卡训练照样加卡不加速。1.8TB/s 这个数字才是多卡能真正协同的底气。4.5 用一道带宽算术题感受 3.6TB/s3.6TB/s 到底有多快用一个具体场景算一笔账。假设一个大模型推理时每生成一个 token 需要读取的权重和 KV Cache 总量是 36GB。那么带宽 3.6TB/s 时读取 36GB 需要36GB ÷ 3.6TB/s 0.01 秒如果带宽只有 900GB/s较低端卡同样的 36GB 需要36GB ÷ 900GB/s 0.04 秒。两者相差 4 倍。同样是生成一个 token高带宽卡花 0.01 秒低带宽卡花 0.04 秒——这就是带宽决定推理速度最直观的证据。 一句话在大模型推理里每生成一个 token 都要扫一遍权重。扫得快不快就看显存带宽。3.6TB/s 的意义就是让每次扫权重都快 4 倍甚至更多。4.6 多卡互联 1.8TB/s 的同步代价视角1.8TB/s 的多卡互联带宽放到多卡训练场景里更能体现价值。多卡训练时每张卡算完自己那份梯度都要做一次全局同步AllReduce。假设一个 70B 模型的梯度总量约 280GB参数量的 4 倍左右互联带宽 1.8TB/s 时同步 280GB 需要约280GB ÷ 1.8TB/s ≈0.16 秒如果用 PCIe 5.0 x16单向 64GB/s同样 280GB 需要约280GB ÷ 64GB/s ≈4.4 秒。4.4 秒的通信对一步训练来说几乎不可接受——梯度同步这 4.4 秒里所有卡都在干等算力全部闲置。这就是为什么多卡训练必须用高速互联而不是 PCIe 直连。 一句话多卡训练的通信是和墙上的时钟赛跑。通信快一点卡就少等一点1.8TB/s 的互联就是让干等从 4.4 秒压到 0.16 秒的关键。五、500W 功耗意味着什么5.1 500W 是个什么概念单卡功耗 500W这个数字有多大对比几个常见家用电器一盏 LED 灯约 10W一台笔记本电脑约 65W一台电饭煲约 800W一张高端加速卡500W。一张卡顶得上几十台笔记本的功耗。500W 不是耗电是吞吐能量——这 500W 的电能几乎全部转化成算力和热量没有一分浪费在休息上。5.2 500W 带来三重挑战500W 的功耗带来三个必须解决的挑战供电500W 远超 PCIe 插槽 75W 的供电能力必须外部供电8-pin/12-pin 电源口散热500W 的热量必须在卡的小体积内及时散掉风冷扛不住必须液冷供电与散热的协同电进来多少热就要出去多少两者同步升级。这三重挑战正是上一篇供电与散热章节的延伸——500W 不是数字是供电、散热、封装三重工程难题的总和。5.3 500W 的性价比视角500W 的功耗还要放在性价比视角下看。真正该关心的不是功耗绝对值而是**“单位功耗的算力”能效比**。如果一张 500W 的卡算力是 300W 卡的两倍那它的能效比就更高500W 反而划算如果功耗翻倍算力只涨了 50%那能效比就在下降500W 就不划算。 一句话高端卡的 500W 不是原罪关键看它换来了多少算力。真正的性能指标是每瓦算力而不是多少瓦。5.4 高端卡的完整画像把上面五个参数拼起来2025-2026 高端加速卡的完整画像就出来了1-2 颗芯片80-192GB 显存3.6TB/s 显存带宽1.8TB/s 多卡互联500W 单卡功耗。这五个数字分别对应算力核心、存储容量、存储带宽、通信带宽、能量吞吐。它们共同决定了一张高端卡的上限。芯片决定算力上限显存容量决定单卡能装多大模型显存带宽决定算力能喂多饱互联带宽决定多卡能协同多快功耗决定所有能力的能量底座。任何一个短板都会拖累整张卡。高端卡的高端恰恰是这五个维度都没有明显短板。5.5 算一笔能效比的账前面说500W 关键看换来了多少算力这里用一个具体算例把能效比讲透。假设有两张卡A 卡功耗 300W算力 600 TFLOPSB 卡功耗 500W算力 1200 TFLOPS。那么A 卡能效比 600 ÷ 300 2 TFLOPS/WB 卡能效比 1200 ÷ 500 2.4 TFLOPS/W。虽然 B 卡功耗更高500W vs 300W但能效比反而更好——每瓦算力更高。这意味着同样耗一度电B 卡干的活更多。 一句话单看功耗是账单看能效比才是性价比。高端卡的 500W 不可怕可怕的是功耗涨了、算力没跟上。真正健康的升级是功耗涨 1.6 倍算力涨 2 倍能效比不降反升。5.6 从数据中心视角看 500W把 500W 放大到数据中心会有更直观的感受。一个万卡集群如果每张卡 500W光加速卡的功耗就是500W × 10000 张 5,000,000W 5 兆瓦。这还没算服务器其他部件、网络设备、制冷系统的功耗。5 兆瓦是什么概念足够供应一个数千户居民的小区用电。所以高端卡的功耗从来不是单卡问题而是数据中心级问题供电要够一个万卡集群需要专门的变电站级别供电散热要强5 兆瓦的热量必须靠液冷甚至更激进的散热方案能效要优每提高 0.1 TFLOPS/W整个集群就能省下可观电费。 一句话500W 是单卡的小账乘上 1 万张就是天大的账。数据中心买卡看的从来不是多少钱一张而是多少瓦算多少力——能效比才是真正的采购标尺。配图图 1加速卡四步工作闭环流程图flowchart LR A[1. 指令解析br/框架拆指令br/PCIe 下发] -- B[2. 数据调度br/控制单元br/NoC 调度张量核心] B -- C[3. 并行计算br/HBM/缓存加载br/脉动阵列计算] C -- D[4. 结果回传br/回 HBMbr/或转发他卡] D -- A四步循环指令解析 → 数据调度 → 并行计算 → 结果回传结果回传后回到起点开始下一轮。这就是加速卡的工作闭环。图 22025-2026 高端加速卡关键参数卡片mindmap root((高端加速卡br/2025-2026)) 算力核心 1-2 颗芯片 存储 显存 80-192GB 带宽 3.6TB/s 通信 多卡互联 1.8TB/s 能量 单卡功耗 500W五维参数算力1-2 颗芯片、容量80-192GB、存储带宽3.6TB/s、通信带宽1.8TB/s、功耗500W共同勾勒高端卡的肌肉轮廓。写在最后一次训练任务从你敲下命令开始加速卡要经历指令解析 → 数据调度 → 并行计算 → 结果回传四步闭环循环成千上万次。这四步里PCIe 是入口NoC 是调度中枢HBM/缓存是数据仓库脉动阵列是生产线互联是送货通道——每一环都不可或缺。而 2025-2026 的高端卡用1-2 颗芯片、80-192GB 显存、3.6TB/s 带宽、1.8TB/s 互联、500W 功耗这五个数字告诉我们高端加速卡的高端到底高在哪。下一篇我们把视角从单卡抬升到整个数据中心看看规模化落地的载体——智算中心的三层架构是怎么把万卡整合起来的。【思考题】NoC片上网络拥塞会怎样影响整卡吞吐软件层能感知并规避吗欢迎评论。【系列文章预告】下一篇看规模化落地的载体——数据中心级智算中心的三层架构。标签加速卡原理、NoC、工作闭环、HBM带宽、单卡功耗、AI显卡、硬件流程加速卡工作闭环为指令解析→数据调度→并行计算→结果回传四步——框架拆指令经 PCIe 下发控制单元经 NoC 调度张量核心从 HBM/缓存加载数据进脉动阵列计算结果回 HBM 或转发他卡2025-2026 高端特征为单卡 1-2 颗芯片、显存 80-192GB、显存带宽 3.6TB/s、多卡互联 1.8TB/s、单卡功耗 500W。