【MAI Gateway|AI网关】CFO 真正想问的不是 Token 多少钱,而是这笔调用值不值

供应商账单只能告诉企业付了多少钱,无法回答谁花的、为什么突然上涨、有没有产生业务结果。本文从月末追账倒推企业 AI 成本治理,用 MAI Gateway 的 FinAPI 思路搭一套可执行的预算、归因和复盘方法。

月末看到 Token 账单上涨时,很多团队的第一反应是换便宜模型。

我觉得这事儿经常查反了。

一个高价模型只处理少量合同审阅,可能很值。一个单价很低的模型被 Agent 无限重试一整晚,也能把预算磨掉。价格只是乘法里的一项,先查单价,未必能找到真正的问题。

更靠谱的追法,是从账单一路倒回那笔请求。

先问四个很具体的问题

财务拿到供应商账单后,通常缺的不是总金额,而是下面四个答案。

  1. 谁花的,属于哪个部门、项目、应用或令牌。

  2. 花在哪,调用了哪个模型,输入输出 Token 分别是多少。

  3. 为什么变,调用次数、上下文长度、模型结构还是失败重试发生了变化。

  4. 值不值,这些调用完成了多少合格任务,带来了什么业务结果。

魔芋企业AI网关 MAI Gateway 的费用中心可以按供应商、模型、部门、项目、用户和令牌等维度形成明细,FinAPI 的思路则把治理分成统一管理、成本审计和成本优化三个阶段。获取试用及客服。

魔芋AI大模型网关I全球大模型一站式调用及服务平台魔芋AI大模型聚合平台(大模型网关平台)专注于提供高效能、低成本的多品类 AI 模型服务,助力开发者和企业聚焦产品创新。https://www.moyu.info/register?aff=qBX9

这三个阶段最好别跳级。

Key 还散落在个人电脑里,项目和负责人都没绑定,就急着做模型优化,月底依然解释不清。账都没记全,优化出来的百分比再漂亮也没法复核。

第一阶段,先把账认全

我会先做一份模型调用台账。字段不用复杂,但每把长期使用的令牌必须能找到主人。

字段建议内容
部门与项目费用最终归到哪里
应用或 Agent具体是谁在发请求
责任人异常时找谁确认
可用模型这枚令牌允许调用什么
预算周期日、周或月
软阈值到线后通知,不立即中断
硬阈值到线后的限速、阻断或降级策略
业务指标订单、工单、合格报告或节省工时

最不建议的做法,是全公司共用一把 Key。接入确实快,后面每一笔账都像匿名捐款。

在 MAI Gateway 里,可以把令牌与项目、人员、模型范围、配额和访问来源关联。外部模型的供应商 Key 由网关保管,内部应用使用企业令牌。这样即便供应商只给一张总账,企业内部也能按自己的管理维度拆开。

价格表同样要维护生效时间。模型调价或版本切换以后,如果网关里仍然用旧单价,费用大盘看起来很精确,实际只是精确地算错了。

第二阶段,盯异常形状,不只盯总额

我会把消费趋势和请求日志对着看。很多成本问题在曲线上都有形状。

深夜持续调用,常见于定时任务、批处理或 Agent 没停。短时间内失败请求密集,可能是重试逻辑没有退避。输入 Token 慢慢变长,可能是历史对话和知识库片段被反复携带。某个高价模型占比突然抬头,则要看路由规则或模型别名有没有改过。

这些问题都不是简单调低单价能治好的。

预算策略也不要一刀切。市场批量生成草稿,达到硬上限后暂停,影响可能可控。客服主链路或生产故障分析如果被直接熔断,损失可能比超支更大。

所以我更喜欢把预算分成两道线。

软线用于提醒。到达阈值后通过邮件、钉钉或飞书通知项目负责人,先判断是不是业务在合理冲量。硬线只放在高风险、可中断的任务上,超出后执行限速、阻断或模型降级。核心业务则保留最低服务额度和人工应急通道。

财务管的是钱,但刹车怎么踩,要和业务一起定。

第三阶段,算单位合格任务成本

等账目和异常都能说清楚,再谈优化。

我会给每类任务做一个小评测集,把不同模型的质量、延迟和费用放在一起看。一个简单公式就够用。

单位合格任务成本 = 模型调用费用 + 人工复核与返工成本 ÷ 最终合格任务数

这里的「合格」必须由业务定义。客服摘要可能要求关键信息完整,合同审阅要覆盖指定风险点,结构化提取则要字段准确。只看 Token 单价,很容易把便宜但经常返工的模型误判成最优解。

确定质量底线后,再做路由。固定格式整理、分类和去重可以尝试低成本模型或本地模型。复杂推理继续使用能力更强的模型。重复且时效要求不高的请求,可以评估缓存。长上下文则检查是否能压缩、截断或按需检索。

每改一条策略,都保留改动前后的样本和数据。否则月底看到费用下降,也不知道是优化生效,还是业务量碰巧少了。

一份能用的月度复盘,不需要写成论文

我的月报会尽量只回答五件事。

  • 本月费用与预算差多少

  • 增长来自哪些项目、模型和应用

  • 哪些变化有业务原因,哪些是异常消耗

  • 单位合格任务成本有没有改善

  • 下个月准备改哪条路由、预算或上下文策略

费用上涨不一定是事故。如果客服量翻倍、合格工单处理量同步增长,支出增加可能合理。费用下降也不一定是好事,如果模型频繁失败、员工放弃使用,低成本只是一种假象。

MAI Gateway 能把调用、费用、责任主体、预算和日志放在一起,帮企业从月末总账追到具体请求。它不能替 CFO 判断业务价值,也不能承诺固定降本比例。模型价格、任务结构、缓存命中率和质量要求都在变化,任何节省数字都应该从自己的基线里算。

这也是我现在看 FinAPI 最顺眼的地方。费用大屏只是入口,后面那套追问机制才有用。钱是谁花的,为什么花,出了什么结果,下一次能不能花得更明白。

Token 当然有价格。

可企业最后要管理的,从来不是 Token 本身,是用 Token 完成的工作。