llama.cpp 在线观测：把批次、KV Cache 与延迟关联起来

llama.cpp 的在线延迟受提示长度、批次和 KV Cache 状态共同影响。只看一次 tokens/s，很难解释用户为什么有时等得久。

分开记录预填充与解码

首 Token 前包含排队、分词、prefill 和调度；后续 Token 则看 decode。两段分别记录输入长度、输出长度与批次，避免平均值混淆。

Cache 指标要能回到请求

观察 KV Cache 占用、命中或回收、上下文截断和并发槽位。请求变慢时，能判断是长提示挤占缓存，还是批处理策略造成等待。

• 模型、量化格式与提交版本写入标签。
• GPU/CPU offload 层数作为运行条件记录。
• 采样率限制高基数请求信息。

用分桶结果调整策略

按输入长度和并发量分组看 P95/P99，再决定批次上限、上下文限制和队列规则。不同流量形态应有不同配置，不追求一个参数覆盖所有请求。

在线观测的目标是解释每一类等待。批次、缓存和请求长度能对上，优化才不会只靠反复试参数。