【AFAC2026金融智能-赛题四】我做了一个疯狂的决定,把Embedding和Reranker全删了

事情是这样的。

上个月,AFAC2026 金融智能挑战赛出了第四赛道,金融长文本 Agent 的动态记忆压缩与高效问答挑战。赛题详情在这里,AFAC2026 赛道四官网。

听着很长对吧,我用大白话给你翻译一下。给你一堆金融文档,保险的、监管的、合同的、研报的,总共 87 个 PDF,每个几十到上百页。然后给你 200 道题,有单选、多选、判断,每道题都要靠翻这些文档来回答。但有限制,全流程只能花 500 万个 token。

500 万 token 是什么概念呢,Qwen3.6-27B 这种级别的模型,如果傻乎乎地把每题涉及的文档全扔进去读,一共 100 道 A 榜题就能吃掉 360 多万 token。准确率惨不忍睹。

说出来你可能不信,官方的基线算法,准确率甚至不如纯蒙。

这差距大的,我当时看完赛题说明愣了好一会。但我这人吧,就是喜欢这种看起来不太可能的事情。越是不可能,越想去试试看。

好了,这是一个关于 FinMemQA 的故事。

坦率的讲,这个赛题最核心的矛盾就一个。怎么在 token 预算极其紧张的情况下,让模型读到最该读的东西,然后回答准确。

我直接说结论,我们最后做到了四步流水线。Planning,BM25 检索,记忆压缩,LLM 推理。前面三步花 0 个 token,所有开销全压在最后一步。