本文分类:news发布日期:2026/6/22 0:49:01
打赏

相关文章

双A100上优化vLLM跑Qwen 3.6-27B 128K长上下文推理

1. 项目概述:为什么在双A100上死磕Qwen 3.6-27B的128K吞吐? 你手头有两块A100 80GB PCIe,不是DGX那种“开箱即用”的整机,而是自己搭的服务器——PCIe拓扑可能不理想,NVLink没接、或者压根没配;你选了Qwen …

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部