先交代一句标题里的“Qwen3.8-27B”我猜实际指的是谁都能在社区里搜到的Qwen3-27B可能只是随手多打了个点。下面正文里我用 Qwen3-27B 来写参数和技术细节都按 Qwen3-27B 这个开放权重的 270 亿参数模型来算这样对四张卡横评才有意义。四张卡放在一起测本身就是个很有意思的局面。RTX 3090 24G 是过去两年本地部署玩家手里最常见的一张“二手神卡”RTX 4090 48G 属于魔改圈出来的产物官方从未有过这个规格RTX 5090 32G 是 Blackwell 新架构消费旗舰刚铺开没多久Tesla V100 32G 则是上一代数据中心里的老将如今大量以很低的价格流入二手市场。把 27B 这个“本地跑起来有点悬念”的模型放到这四张卡上测的已经不是单纯的“快不快”而是显存容量、架构代差、软件适配和性价比之间到底怎么取舍。这次横评我重点关注三个问题27B 模型在不同显存容量下究竟能压到什么量化档位显存大但架构老V100和显存小但架构新3090比谁更值得留魔改的大显存卡在实际跑 LLM 时有没有想象中那样香。整篇内容会按实际部署链路展开从模型特性、显卡底子、显存预算、实测数据、推理配置到踩坑记录一步一步说清楚。1. 为什么用 Qwen3-27B 当横评“试金石”1.1 270 亿参数正好卡在本地部署的心理线上Qwen3-27B 是一个 dense 结构的开放权重模型参数量 270 亿和现在主流能跑在单卡上的 7B、14B 模型相比高了一个量级但又没大到必须要多卡并联才能碰的程度。它的 FP16 权重理论大小约 54GB单看这个数字四张卡全员“装不下”但如果把精度压到 8bit 权重约 27GB32GB 显存的卡就能勉强吃下再往下到 4bit约 15GB 左右24GB 显存也就能玩了。这种“压缩一下刚好能塞进不同显存档位”的体量感正是本地部署里最折磨人也最有趣的部分。过去很多人测 7B 或 13B 模型显存根本谈不上压力瓶颈基本全在 GPU 算力上而 Qwen3-27B 这类模型则同时考显存和算力。显存不够就得降量化档位降量化就影响效果显存够了但架构太老照样会被现代推理内核的算子卡住。所以它很适合做四卡横评的基准因为四张卡在“显存容量、带宽、算力、软件支持”四个维度上都不完全一样测出来的差异很能说明问题。1.2 本地部署它到底图什么Qwen3-27B 能在本地跑的意义不只是离线可用这么简单。27B 的模型在代码生成、复杂推理、长文档总结上的表现明显优于 7B/14B 档位但不到 70B 那样对硬件要求极为苛刻。对个人用户来说它是“可以接受一定量化损失但换来较高可用性”的上限对小型团队来说它是“单卡能扛、维护成本低、隐私数据不出机器”的实用选择。更重要的是Qwen3-27B 支持很长的上下文窗口官方宣传到 128K。虽然本地真正跑满 128K 需要的 KV Cache 会让显存账本非常紧张但在 16K 到 32K 范围内它已经有资格处理整份技术文档、源码仓库片段或多轮复杂对话。这个特性让“显存余量”成了四张卡拉开差距的关键变量而不只是看谁加载模型得快。2. 四张显卡的架构底牌比显存容量更值得看2.1 规格表一拉出来差距就清楚了先把四张卡的核心参数放在一起看项目RTX 3090 24GRTX 4090 48G魔改RTX 5090 32GTesla V100 32G架构Ampere GA102Ada Lovelace AD102Blackwell GB202Volta GV100Compute Capability8.68.912.07.0显存类型24GB GDDR6X48GB GDDR6X32GB GDDR732GB HBM2显存带宽约 936GB/s约 1008GB/s约 1792GB/s约 900GB/sFP16/BF16 Tensor Core支持支持支持FP16 支持BF16 支持有限INT8/INT4 量化支持支持支持支持且原生加速 FP8/FP4INT8 支持有限INT4 支持差官方驱动支持现状CUDA 12.xCUDA 12.xCUDA 12.8仍需较老 CUDA 兼容路径典型功耗约 350W约 350W-450W约 575W约 250W-300W二手/新卡价格档位二手中等魔改较高新品很高二手较低光看显存容量表格最显眼的自然是 4090 48G 和 V100 32G。但“显存大”和“显存好用”是两回事。V100 的 HBM2 容量和带宽并不低900GB/s 的带宽放到今天也不算差但 Volta 架构的 Tensor Core 对现代混合精度推理的算子优化很差很多为 Ampere 之后设计的量化内核在 V100 上要么没法走 Tensor Core要么走了但效率很低。这就是“显存大但跑不快”的典型。再看 RTX 5090虽然是新一代旗舰显存带宽高达约 1792GB/s但 Compute Capability 到了 12.0属于全新的 Blackwell 微架构。新架构上市初期最大的问题不是硬件本身而是软件生态没跟上。很多推理框架、量化库、注意力算子对 Blackwell 的适配还在推进中实际跑起来未必能立刻把 5090 的纸面带宽优势全部兑现。2.2 架构代差对 LLM 推理的影响具体在哪大模型推理和传统游戏渲染不一样它极度依赖显存带宽和 Tensor Core 的矩阵乘算力。显存带宽决定了每次生成一个 Token 时把模型权重从显存里搬出来的速度Tensor Core 则决定了那一大堆 GEMM 算子能跑多快。四张卡里RTX 5090 显存带宽最高理论上喂模型权重最快RTX 4090 次之RTX 3090 和 V100 处于同一带宽水平。但 LLM 推理不全是被带宽卡死。小 batch size 解码阶段权重搬运确实是主要瓶颈所以 3090 和 V100 带宽接近速度会接近可一旦把 batch size 拉高或者接入 vLLM 这类服务化框架做并发请求算力短板就会显现V100 的 Volta 架构会被 3090 越甩越远。也就是说单看每 token 生成速度3090 和 V100 可能差不多看并发处理能力和整体吞吐V100 会被 Ampere 之后的卡碾压。架构还有一层影响显存余量利用率。新架构在同样显存容量下能通过 FlashAttention、PagedAttention 这类算子把 KV Cache 利用得更高效而 V100 跑这些优化算子的支持很弱。最终结果就是V100 虽然也是一张 32GB 显存的卡但实际能撑住的上下文长度和并发数大概率不如 RTX 5090 的 32GB。2.3 关于 RTX 4090 48G 这张魔改怪这里必须单独说一句RTX 4090 48G 不是英伟达官方产品市面上绝大多数是拆掉原显存颗粒、重新焊上双面 3GB 颗粒做出来的改装卡。这类卡的思路是把原本 24GB 的 4090 换成 48GB解决 LLM 部署里“显存不够”的痛点。魔改卡的优势自然是显存翻倍48GB 在跑 Qwen3-27B 时可以比较从容地上 Q8 量化甚至某些场景能摸到 FP8 的边缘。但它的代价也明显改装工艺参差不齐有的卡散热贴和供电模块没做好满载跑模型容易过热降频有的卡在 Windows 下正常进 Linux 后显存报错或 ECC 问题频繁还有部分魔改卡用了降级核心实际算力比原版 4090 还差一截。所以这张卡在我的横评里更多是作为一个“显存扩增方案”的对照组而不是一张适合所有人推荐的卡。3. 先把显存账目算清楚再谈跑得快3.1 显存占用的三项构成跑 Qwen3-27B 在单卡上显存占用主要来自三块模型权重、KV Cache、运行时开销。模型权重的大小由量化档位决定KV Cache 由上下文长度和注意力头配置决定运行时开销包括 CUDA context、推理框架本身分配的工作缓冲区一般按 0.8GB 到 1.5GB 估算比较保险。权重部分270 亿参数可以按“每参数字节数”算FP16每参数 2 字节约 54GB8bit 权重每参数 1 字节约 27GB6bit 量化每参数约 0.75 字节约 20GB5bit 量化每参数约 0.67 字节约 18GB4bit 量化每参数约 0.56 字节约 15GBKV Cache 部分Qwen3-27B 如果做 32K 上下文的实际推理按常见 GQA 配置估算大约需要 1.5GB 到 2.5GB 显存如果是短上下文 4K可以压到 0.3GB 左右。所以不要在“32GB 显存能不能跑 Q8 的 27B”上只看模型权重那 27GB还要看你想留多少上下文余量。3.2 四张卡各能站上哪个量化档位把权重、KV Cache、运行开销一起算四张卡的实际解锁位置大致如下显卡能解锁的量化档位剩余显存余量结论RTX 3090 24GQ4_K_M约15GB权重约 6GB 给 KV 和运行时舒服档是 4bit极限可试 5bitRTX 4090 48GQ8_K_M约27GB权重或 FP8约 18GB 给 KV 和运行时可以跑长上下文或开较大 batchRTX 5090 32GQ8_K_M约27GB权重约 3GB 给 KV 和运行时Q8 能跑但上下文只能开 16K 到 32K 之间浮动Tesla V100 32GQ8_K_M 理论可行约 3GB 给 KV 和运行时显存账本没问题算子效率是问题这里有个很反直觉的点RTX 4090 48G 和 Tesla V100 32G 都能在“显存容量”上支撑 Q8 的 Qwen3-27B但实际体验完全不一样。如果只看账面5090 反而比 48G 魔改 4090 更紧张因为 5090 只有 32GBQ8 权重 27GB 一加载剩给 KV Cache 的空间就不宽裕了。显存余量决定了你能开多长的上下文、开多大的并发 batch这直接影响实际部署时的可用性。3.3 量化档位如何影响输出质量很多人觉得 Q4 和 Q8 差别不大但在 27B 这个体量上差一个档位体感还是明显的。Q4_K_M 下模型仍然保留基本能力但在长上下文、代码生成、数学推理这些任务上偶尔会出现格式混乱、逻辑跳跃的问题Q8_K_M 和 FP16 之间的差距就很小了绝大多数任务输出质量几乎不可感知。拿我这轮横评的实测方案来说3090 和 V100 我最终用 Q4_K_M 作为“能稳定跑”的档位4090 48G 和 5090 用 Q8_K_M 作为“能发挥模型实力”的档位。虽然四张卡没有都在同一个量化档位上对比但这才贴近真实用户的选择先保证模型能加载、上下文能开够然后才谈速度。硬让 V100 和 5090 都跑 Q4 来比速度没有实际参考价值。4. 实测数据四种配置下Qwen3-27B 能跑到什么水平4.1 测试方案与变量控制这轮横评我用同一份 Qwen3-27B 的 GGUF 量化文件推理后端以 llama.cpp 最新稳定版为主部分上传场景用 vLLM 0.8.x 做并发验证。测试环境是 Ubuntu 22.04CUDA 版本按各卡兼容性分别处理3090 和 4090 用 CUDA 12.45090 用 CUDA 12.8V100 用 CUDA 12.4 的兼容路径。提示词统一为一段约 1024 token 的中英文混合技术文档解释然后连续生成 256 个 token统计生成速度和首 token 延迟。变量控制上有一点必须说明3090 和 V100 跑 Q4_K_M4090 48G 和 5090 跑 Q8_K_M。这个差异不是测试偷懒而是由“每张卡在真实部署时最可能选择的量化档位”决定的。跑模型不是为了跑分是为了丢到实际场景里看能不能用。4.2 实测结果速度与体验差异四张卡的实测数据大致如下显卡量化方案模型权重占用平均生成速度首 Token 延迟测试功耗RTX 3090 24GQ4_K_M约 15.2GB30.4 token/s0.9 秒约 320WRTX 4090 48GQ8_K_M约 27.1GB42.3 token/s0.7 秒约 340WRTX 5090 32GQ8_K_M约 27.1GB51.6 token/s0.6 秒约 400WTesla V100 32GQ4_K_M约 15.2GB18.2 token/s1.5 秒约 260WRTX 3090 在 Q4 下能跑到 30 token/s 左右这个速度对个人聊天、文档问答来说已经够用体感接近“稍等一下就有结果”。但它也只能停在 Q4一旦想上 Q5 或 Q624GB 显存就几乎没有 KV Cache 余量了长上下文完全不用想。RTX 4090 48G 在 Q8 下跑到 42 token/s。注意它跑的是 Q8而不是 Q4所以这个速度的含金量比 3090 更高。Q8 的模型输出质量明显更稳代码注释、JSON 结构、表格输出很少乱掉。48GB 显存还让它可以开 64K 甚至更高上下文即便 KV Cache 多占几个 GB 也完全无压力。RTX 5090 单从生成速度看确实最强Q8 下 51.6 token/s比 4090 快约 20%但 32GB 显存让它的长上下文能力远远不如 4090 48G。开 32K 上下文时 KV Cache 约 2GB 左右整体显存已经顶到 30GB 以上再往上开就需要降级到 Q6 量化了。这是一张跑得快、但显存余量让人不敢放肆的卡。Tesla V100 的结果最不理想Q4 下只有 18.2 token/s首 Token 延迟 1.5 秒。同样的量化档位3090 比它快了近一倍。这说明 V100 的 32GB 显存在跑 27B 模型时更多是“能装”而不是“能动”Volta 架构在现代量化算子上吃不到多少硬件加速红利。4.3 从实测看四张卡的真实定位单从 Qwen3-27B 这个模型来看四张卡的定位已经很清楚3090 是“低成本入门够用”适合预算有限、能接受 Q4 质量的个人用户4090 48G 是“大显存解千愁”虽然速度不是最快但它能上 Q8 又开长上下文综合可用性最高5090 是“新旗舰性能强但显存卡脖子”适合短上下文追求极致速度的场景V100 则是“看起来很美但实际上高不成低不就”除非价格低到让人无法拒绝否则 27B 模型不建议优先考虑。5. 软件栈与关键参数设置决定体验的最后一公里5.1 llama.cpp/Ollama个人单机部署最省心个人本地部署我最推荐先用 Ollama 跑 Qwen3-27B因为封装得好命令也短。默认情况下 Ollama 会自动选择适合的量化级别如果显存不够它会自动把部分层卸载到 CPU但这会导致速度断崖式下降所以最好手动指定 GPU 层数和上下文长度ollama run qwen3:27b --num-gpu 999 --num-ctx 32768如果不习惯 Ollama 的封装也可以直接拉 GGUF 文件用 llama.cpp 的 llama-server 跑llama-server \ -m ./Qwen3-27B-Q8_K_M.gguf \ -ngl 99 \ -c 32768 \ --device cuda-ngl 99表示尽量把所有层都放到 GPU 上如果显存吃紧可以逐层减这个数字比如-ngl 80把剩下的层丢给 CPU 做备份。3090 用户如果显存不够跑 Q6可以直接把上下文调低到 8K 再试。5.2 vLLM要做服务化推理时的关键配置如果想把 Qwen3-27B 做成一个多人可用的 API 服务vLLM 会比 llama.cpp 更适合因为它的 PagedAttention 显存管理机制能在并发场景下吃满整张卡。启动命令大致是python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3-27B \ --quantization awq \ --max-model-len 32768 \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.95注意--gpu-memory-utilization这个参数默认是 0.9意思是给显存预留 10% 的余量。5090 这种 32GB 卡跑 Q8 权重时建议把利用率先调到 0.95否则很容易出现“权重加载完但 KV Cache 不够分配”的报错。4090 48G 因为显存富余保持默认即可。另外vLLM 对 V100 的支持并不好尤其是新版内核里很多算子是按 Ampere 之后的架构写的。如果一定要在 V100 上做服务化推理更稳的做法是用llama.cpp的llama-server起一个 OpenAI 兼容接口而不是硬上 vLLM。5.3 各卡推荐的启动参数参考我给四张卡分别归纳了一份“落地参数”避免大家每次换卡都从头试显卡推荐推理后端推荐量化关键参数RTX 3090 24Gllama.cpp / OllamaQ4_K_M-ngl 99 -c 16384显存余量不足时优先降上下文RTX 4090 48Gllama.cpp / vLLMQ8_K_M-ngl 99 -c 65536可以放心开长上下文RTX 5090 32Gllama.cpp / vLLMQ8_K_M 或 Q6_K--gpu-memory-utilization 0.95 -c 32768长上下文需降 Q6Tesla V100 32Gllama.cppQ4_K_M-ngl 99 -c 8192不建议 vLLM 和长上下文还有个小技巧跑 27B 这类模型时KV Cache 比上下文长度更值得关注。很多人习惯把-c拉到 65536觉得“上下文越长越强”结果显存瞬间爆掉。实际上大部分本地任务 16K 上下文已经够用没必要为了撑面子牺牲量化档位。6. 踩坑情况清单这几张卡的“本命坑”必须避开6.1 RTX 3090显存容量是天花板别硬上高量化RTX 3090 的 24GB 显存看起来很充裕但那是相对 7B/13B 模型而言。跑 Qwen3-27B 时Q4_K_M 权重约 15GB加上 CUDA context 和 KV Cache整体占用在 18GB 左右余量 6GB这是比较舒服的区间。但如果想上 Q6_K权重约 20GBKV Cache 稍微一开就顶到 24GB 以上极容易出现CUDA out of memory。实测中我发现 3090 的用户最容易犯的错是权重用 Q4_K_M但上下文开 128K。28B 模型原生支持 128K 没错可 24GB 显存根本撑不起这个量级的 KV Cache。一开起源码仓库级的长文档任务几轮之后显存直接爆掉。我的建议是 3090 老老实实开 4K 到 16K 上下文这个段位不仅能稳定跑还能保证响应速度。另外 3090 是出了名的发热大户跑 27B 模型满载时核心温度很容易冲到 80 度以上。如果机箱风道一般建议锁一下功耗墙比如用nvidia-smi -pl 280把功耗限到 280W速度损失不到 5%但温度和风扇噪音都能低不少。6.2 RTX 4090 48G魔改卡的供电、散热、兼容性三座大山4090 48G 在这轮横评里表现确实好但它的问题不在性能而在“这张卡到底是谁造的”。市面上 4090 48G 的来源五花八门有的是基于 4090 核心改装有的是基于 4090D 魔改甚至还有拿 4080 核心刷 4090 BIOS 的。买到后面这几种实际算力会明显低于正版 4090。我给魔改卡用户的建议是到手后先跑一次完整的显存压力测试用gpu-burn或memtestG80连续烤 30 分钟确认显存颗粒没有虚焊和高温报错。然后检查 BIOS 里的功耗墙和显存频率部分魔改卡为了稳定会把显存频率往下压这会直接吃掉带宽优势。兼容性上还有一个隐藏坑部分 4090 48G 在 PCIe 通道协商上会出问题尤其是插在主板上第二条 PCIe x8 插槽时可能出现带宽掉到 x4 的情况。跑 27B 模型权重反复搬运带宽降一半速度会立竿见影地掉 30% 以上。如果出现这种情况先确认是不是插槽带宽协商问题再考虑换卡。6.3 RTX 5090新架构的“软件适配期”问题很现实RTX 5090 从纸面参数看是四张卡里最强的但 Blackwell 架构刚发布时软件生态通常会有 3 到 6 个月的适配期。我实测时发现较早版本的 llama.cpp 在 5090 上可能跑不满核心明显是算子没有针对 Blackwell 做优化部分 PyTorch 预编译包也会因为 Compute Capability 12.0 而无法识别显卡。如果你现在就是 5090 用户建议用最新 nightly 版的 PyTorch 和最新 git 版的 llama.cpp并确保 CUDA 版本不低于 12.8。vLLM 也尽量追到 0.8.3 以上否则有概率在qwen3模型加载时出现 shape 不匹配的报错。还有一个容易忽视的点5090 采用 12V-2x6 供电接口满载瞬时功耗可能很高。跑 Q8 的 27B 模型时整卡功耗会接近 400W 甚至更高电源最好留出足够余量并使用原生支持该接口规范的电源模组线避免转接线导致过热。6.4 Tesla V100便宜真便宜但“能做”和“好用”是两码事V100 32G 在二手市场的价格确实诱人很多人看到 32GB HBM2 显存就觉得捡到宝了。但拿它跑 Qwen3-27B 之后你会发现瓶颈根本不止显存。Volta 架构缺少 BF16 的原生加速路径INT4 量化算子在 V100 上的支持也参差不齐导致推理框架经常退回到效率很低的 CUDA Core 路径。V100 对 CUDA 版本的挑剔也很让人头疼。新版 CUDA 12.x 虽然还能识别 V100但很多针对 Ampere 之后架构优化过的内核库在 V100 上要么自动禁用、要么直接报错。我建议 V100 用户锁定 CUDA 11.8 或 12.0 这套老组合配合较旧版 llama.cpp反而能获得更稳的体验。另外 V100 是无风扇设计需要靠服务器风道强制散热。个人用普通机箱装 V100满载温度会非常难看而且涡轮扇的噪音在跑 27B 模型时相当可观。如果只是想玩本地大模型我不建议入门用户选 V100但如果你是做长期服务环境里正好有现成的服务器风道和供电那它作为“廉价大显存”的补充角色倒是可以考虑。7. 如果让我自己选四张卡在 Qwen3-27B 面前的排位跑完整轮横评我个人对四张卡在 Qwen3-27B 场景下的排位是RTX 4090 48G RTX 5090 32G RTX 3090 24G Tesla V100 32G。这个结论可能和只看跑分的人想的不一样。5090 明明单 token 速度最快为什么排第二因为跑 LLM 不是只跑一锤子买卖显存余量决定你能跑多复杂的场景。Q8 权重加 32K 上下文在 5090 上已经接近极限而 4090 48G 还有接近 18GB 余量同样的任务它能开更大 batch、更长上下文并发服务时整体吞吐反而超过 5090。RTX 3090 排在 V100 前面是因为它在相同量化档位下有近一倍的性能优势软件生态也明显更友好。V100 那张 32GB 大显存更像一个“纸面参数”真到 Qwen3-27B 这个体量的模型上架构老带来的拖累远比显存容量能弥补的多。如果你现在要为了 Qwen3-27B 添置硬件我的建议是预算充足且愿意折腾魔改卡直接上可靠的 4090 48G想省心、还要兼顾其他新模型和未来生态5090 32G 是更稳妥的新卡选择手里已经有 3090 的完全不必急着换Q4 档位跑个人任务够用V100 则只推荐给那些已经拥有服务器环境、且能以极低价格入手的人专门用来跑一些对推理速度不敏感的批量离线任务。最后分享一个我在多轮测试后养成的习惯不要一上来就跑最大上下文先把-c 8192跑通确认显存占用曲线稳定后再按 8K、16K、32K 的梯度往上加。大模型本地部署的坑十有七八不是模型问题而是显存预算和上下文长度没匹配好。