一家企业的内控部门在抽查智能助手时遇到过一个难办的场面他们按日志里记录的问题原样问了一遍助手给出的答案与当时存档的那份不一样两处结论的差异正好落在同一个金额上而存档的那份当时已经发给了客户复核结论直接关系到是否需要补一份更正说明。起初团队怀疑是知识库被人改动过核对之后发现文档版本没有变化。真正的原因在于这次回答没有被完整地固定下来生成环节每次都会带入一点随机性系统也没有把当时的模型版本、配置版本与生成参数一起留档复核的人拿不到复现所需的全部条件。复现需要哪些条件被固定下来复现一次回答需要四类条件同时具备模型与知识库的版本生成时使用的参数交给模型的完整上下文以及工具返回的原始结果。这四类条件里缺少任何一类复核就只能对比结论无法判断差异从哪来。多数系统的日志只记录了问题与答案上下文与参数没有留痕复核人员因此只能凭记忆推测当时发生了什么。上下文这一项尤其容易被忽略同一份知识在不同时间被检索时返回片段的顺序可能不同片段的排列一变模型看到的信息排布就跟着变了结论也可能随之偏移。随机性应当被限制在什么范围内生成环节带随机性本身不是缺陷它让表达显得更自然。问题在于企业场景里并非所有输出都可以带随机性涉及金额、判定结论、条款引用与审批意见的内容通常需要按照同一份输入得到同一份结果这里指关键结论字段稳定而非自由文本逐字一致。一类做法是把这些内容从自由生成改为按结构化结果填充助手只负责从检索结果里挑选对应字段不负责重新表述数字。另一类做法是在生成时把采样参数固定下来并把参数连同检索片段 ID、文档版本与顺序等能够重新构造输入的不可变引用一并登记复核时按照同一组条件重跑即使文字的表述有细微差别关键结论也能对上。参数固定并不等于结果相同模型版本或者知识库版本发生变化时同一组参数仍然会得到不同的结论版本因此也必须进入登记项。差异出现后要能定位到环节复核的价值不只是确认答案对不对还要能指出差异出在哪个环节。系统可以为每次回答生成一个指纹指纹由问题、检索片段 ID 与文档版本及顺序、模型版本、参数版本、工具调用请求与响应的不可变引用或哈希共同构成如果所有已登记执行条件的不可变指纹一致而关键结论仍不同可以优先把排查范围收窄到生成模型及未被记录的运行环境如果指纹不同则先定位发生变化的输入或依赖。当复核发现两份答案不一致时系统应当保留两份结果与两次的执行条件允许业务人员判断哪一份可以作为对外口径并把判断结果登记下来。归因信息同时回流到知识维护环节如果差异来自文档更新知识库一侧要补齐变更记录。系统还可以为关键结论单独留存一份校验值复核时先比对关键字段再看整段表述指纹的比对结果也应当可以按时间范围检索业务人员据此看出一段时间内有多少次回答出现了结论漂移。通用模型与Agent平台通常提供日志记录与调用追踪能力但一次回答需要固定哪些条件、关键结论用哪种方式生成、复核差异怎么归因这些环节仍需结合企业自身的内控要求单独设计。在青山不语AI工作室的AI定制方案中每次回答都会生成一条执行记录记录保存能够重新构造执行输入的不可变引用或校验信息例如系统/业务提示版本、检索片段 ID 与文档版本及顺序、模型版本、参数、工具调用请求与响应的受控快照或不可变引用为控制敏感数据与存储量可保存哈希、对象引用或脱敏快照但摘要不能替代原始引用同一份摘要可能对应不同的实际片段顺序与内容涉及金额与判定结论的内容改由结构化结果填充复核时按照同一组条件重跑并保留两次结果。在这套机制里企业需要先明确哪些输出属于必须可复现的范围内控口径、留档周期与详细程度由企业确定工作室负责把执行记录、参数登记与归因链路落在系统里让每一次复核都有据可查。验证时可以在受控环境里用同一条问题连续跑两次观察关键结论是否一致再翻看执行记录确认版本与参数是否完整两次记录应当可以互相参照便于定位差异环节。测试应当使用构造的数据与专用验收账号避免把真实业务信息带进验证过程。我认为一个回答能不能被复核取决于生成的时候有没有留下足够的条件。企业在挑选AI定制服务时可以把问题问得更具体一点这套方案能不能重建过去一次回答的执行条件并说明关键结论当时为什么会这样产生。对于必须稳定的金额、判定和其他关键业务结果则应单独验证其是否能在同一受控输入下复现。