本文分类:news发布日期:2026/6/13 7:41:21
打赏

相关文章

从寄信到直投:hixl单边通信库如何拆掉PD分离场景中的数据搬运墙——昇腾CANN计算基础层的跨步通信原语深度拆解

前言 大模型推理正在经历一场架构层面的变革。当模型参数量突破千亿,单卡已经无法装下完整的推理流程,PD分离架构应运而生——Prefill阶段和Decode阶段分别部署在不同的昇腾NPU上。这种拆分让两个阶段可以独立扩缩容,但也带来了一个物理层面…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部