异步 RAG 延迟拆解:排队、检索、生成分别计时
异步 RAG 延迟拆解:排队、检索、生成分别计时
异步化不会自动降低端到端延迟,它只是改变等待发生的位置。先把排队、查询改写、检索、重排、生成和输出校验分别计时,再决定优化哪一段。
先界定问题
记录请求进入和离开每一阶段的时间,同时保留取消、超时和空检索路径。并发数必须与连接池、模型限额和队列上限一起设计。
处理与验证
先拆清主链路再谈优化。请求、检索、模型调用和输出校验应分别观测;任何优化都要保留关闭开关和回退路径。
分别构造正常检索、空检索、检索超时、生成超时和客户端取消,记录请求进入与离开各阶段的时刻。调整队列长度、连接池或并发限制时一次只改一个,确认取消能传到正在等待或执行的下游调用。
端到端数据要同时给出排队、检索、重排、生成和输出校验的分段分布,并说明并发、队列上限、模型与检索配置。若某段优化把等待推到另一段,或超时后任务仍在运行,就不能据总平均值判断有效。