我们看一份报告的时候主要看什么

这是使用vllm里面的压测脚本测试出来的数据，并发量分别为20和1

1. 核心指标解读

在看数据前，先明确三个最关键的指标含义（主要看什么）：

• TTFT (Time to First Token)：首字延迟。从你按下回车到 AI 蹦出第一个字的时间（决定了响应感）。
• TPOT (Time per Output Token)：写字速度。第一个字出来后，后续每个字的间隔（决定了吐字流畅度）。
• Total Throughput：总吞吐量。系统每秒钟一共处理了多少个 Token（决定了系统整体效率）。

2. 报告对比：并发 20 vs. 并发 1

我们将两份数据放在一起看：

3. 深度拆解：数据背后的硬件博弈

为什么 20 并发的 Total Throughput (4962) 这么高？

这是因为你的测试用例中，输入（Input）远多于输出（Output）。

• 20 并发下，输入 Token 是 20480 个，而输出才 2560 个。
• GPU 处理这 2 万多个输入时走的是“算力瓶颈”，速度极快，把平均分拉上去了。

而如果你是做实时聊天机器人：

• 173ms 的 TTFT让用户感觉 AI 是秒回的。
• 10.11ms 的 TPOT换算过来大约是99 tok/s。人类阅读速度大约只有 5-10 tok/s，这意味着 AI 写字的速度远超人类阅读速度，体验极佳。

并发 20 的危险信号：P99 ITL (174.71 ms)

注意看 20 并发报告里的P99 ITL。

• 虽然平均写字间隔是 17ms，但最慢的情况下（P99），字与字之间卡了174ms。
• 原因：这说明在多并发下，显存已经非常紧张，系统在搬运 KV Cache 或进行 Swap 交换，导致了明显的卡顿（抖动）。

4. 总结

1. 单人模式 (并发1)：这台设备是Qwen2.5-1.5B 的神机。响应极快（173ms），吐字极稳（10ms）。
2. 多人模式 (并发20)：系统被压榨到了极限。虽然总吞吐量 (4962) 看着很爽，但用户体验开始下降（首字要等 1.2 秒以上，且偶尔会卡顿）。
3. 硬件瓶颈对齐：
   • 你的173ms TTFT验证了 GPU算力没问题。
   • 你的10.11ms TPOT (99 tok/s)验证了显存带宽是稳定的。
   • 你的P99 抖动验证了显存容量/PCIe 带宽是高负载下的短板。