产品与公司信息

产品方面，有[技术]、[案例]。公司相关的有[团队]、[招聘]、[宣言]。还有[博客]。有登录和注册入口，登录链接为[登录]，注册链接为[注册]。

内存是护城河吗？

以约 952 个 token/秒/节点的速度运行 Kimi K3 时，AMD 持续证明了其在性价比方面的优势。过去几个月，开源模型能力呈爆发式增长，DeepSeek V4 - Pro 和 GLM5.2 达到接近 Opus 的智能水平，开源模型成为闭源模型可行且经济高效的替代方案。但 Kimi K3 有望达到 Fable/Sol 的智能水平，标志着开源领域新时代的开端。不过，更智能的模型意味着更大的模型，GLM5.2 有 7530 亿个参数，DeepSeek V4 - Pro 有 16 万亿个参数，Kimi K3 更是达到了 28 万亿个参数，为 100 万个 token 的上下文分配 KV 缓存前，就需要超过 1.5TB 的显存，B200 节点无法容纳 Kimi K3，选择有限，要么用 B300 节点服务，要么用两个 B200 节点服务 Kimi。而 AMD 的 MI355X 拥有 288GB 显存，平均而言，MI355X 每个 GPU 的价格比 B300 便宜约 2.4 倍，比 B200 便宜约 1.7 倍，是具有可比硬件规格的 Blackwells 芯片的经济高效替代品。AMD 唯一问题是软件支持，其在服务前沿模型是工程挑战，但 Wafer 认为代理在改进内核和模型优化，且 AMD 为 Kimi K3 提供首日支持，大部分工作已完成。结果出色，在 1024 个 token 输入 / 400 个 token 输出的基准测试中，MI355X 达到了 952 个 token/秒/节点和 118 个 token/秒单流的速度，每个节点的总吞吐量是 TP16 B200 部署的 3.8 倍多，单流解码速度是其 1.3 倍多。B300 节点在总吞吐量上比 MI355X 高约 1.65 倍，但价格是其 2.4 倍，因此 MI355X 在性价比方面完胜 B300。表格数据显示了 8× MI355X (TP8)、2×8 B200 (TP16)、B300 (TP8 + DCP8) 在每个流的解码 token/秒、峰值总吞吐量、每个 GPU 的峰值总吞吐量、每个 GPU 每小时美元成本的峰值总吞吐量等方面的对比。B200 性能数据受影响，因为它在解码关键路径上需跨节点全归约操作，而 Kimi K3 规模下，MI355X 对 HBM 容量的关注使其相对 B200 有实际且可衡量的优势。

实现过程

虽然 Kimi K3 可直接运行，但要达目前吞吐量，还有工作要做。主要优化手段是推测解码，K3 没有提供草稿张量，唯一推测路径是外部块扩散草稿：RadixArk 的 Kimi - K3 - DSpark。在 CUDA 上可正常运行，但在 ROCm 上，第一个实际请求会使调度器崩溃，出现 NameError 错误。sglang 的接受采样验证器构建目标分布有两种方式，CUDA 版本从 sgl_kernel 导入 top_k_renorm_prob，而 ROCm 版本只别名了一个 Triton top - p 内核，未定义 top_k_renorm_prob，请求进入密集路径时，验证器会遇 NameError 导致调度器崩溃。解决方案是用简单的 PyTorch 函数，Top - k 重归一化是小操作，将相关操作应用到 sglang 的 ROCm 采样分支中，可实现与 CUDA 版本相同计算，这里不需要自定义内核。修复并强化推测解码后，单流性能提升约 2.2 倍，中等负载下每个流的性能提升约 1.7 倍，峰值总吞吐量提高 18%，且峰值总吞吐量在更高并发度下实现。

预填充优化

关于模型性能的讨论常侧重每秒解码的 token 数，但很多情况下，这是误导，用户最能感受到的首 token 时间被忽视。MI355X 在这方面表现不佳，同样的 17.2 万个 token 的冷预填充，MI355X 需要约 51 秒，而 B300 只需要约 23 秒。在 100 万个上下文的模型中，大量预填充会让 GPU 花费数分钟，使整个节点集群无用。这个差距几乎完全由一个内核造成，在 ROCm 上运行 K3 时，快速的 AITER MLA 预填充内核无法加载，会回退到较慢的通用 Triton 注意力机制，问题出在形状不匹配。解决方案是将头数从 12 填充到 16，运行快速内核，然后从输出中提取实际的 12 个头。结果是同样的 17.2 万个 token 的冷预填充中，AITER MLA 预填充 ASM 的稳态速度达到约 1.3 万个 token/秒，而 Triton 回退机制的速度约为 4 - 7 千个 token/秒，预填充速度提高约 2 - 3 倍，这影响首 token 时间，不影响总吞吐量。

总结

在 MI355X 上实现最佳性价比相对容易，虽出现与框架相关的预期内 bug，但比 GLM5.2 遇到的问题少，且这次肯定不需要自定义内核。AMD 达到业界领先水平指日可待。CUDA 的护城河要消失了吗？

相关文章

有 Wafer 与 TrueFoundry AI 网关的集成文章，介绍 Wafer 快速、兼容 OpenAI 的无服务器推理如何与 TrueFoundry AI 网关集成，以实现统一路由、可观测性和零数据保留。还有性价比越来越高文章，讲述如何在 AMD MI355X 上以 2626 个 token/秒/节点和 213 个 token/秒单流的速度服务 GLM5.2，成本比 Blackwell 低 2 倍多。