在图像字幕Image Captioning评估这件事上我们长期被一个隐含假设绑架一个数字就能衡量字幕好不好。这个假设在早期数据集中勉强成立但在多模态大模型时代已经明显失效。原因很简单字幕质量根本不是单一维度。它既要考察模型有没有“看懂”图像中的实体、关系、动作和状态又要考察它有没有“说出”符合人类阅读习惯的自然语言。前者是视觉理解问题后者是语言生成问题两者没有必然的因果绑定。生成能力差的模型可能理解完全正确但说出来的话很不通顺生成能力强的模型也可能流畅地编造出图像里根本不存在的细节。CAPEvalA Decoupled Caption Evaluation across Understanding and Generation这一评测思路的出发点就是把这个混在一起的评价过程拆开。它把字幕评估显式分解为“理解Understanding”和“生成Generation”两个维度分别用不同的方法验证而不是用一个笼统的分数糊弄过去。本文将围绕 CAPEval 的思路展开讲清楚它到底在拆什么、怎么拆、拆完以后评测流程会发生什么变化并提供一个可以本地运行的简化版实现帮助你把这套思想落地到自己的多模态模型评测管线中。1. 这篇文章真正要解决的问题如果你正在做多模态模型、图像字幕、图文检索或视觉问答项目大概率会遇到下面这类困境。你自己看一眼模型生成的字幕觉得还行但评测指标给出的分数和你的主观感受对不上。有时候模型输出了比参考答案更细致的描述但 CIDEr 或 BLEU 分数很低有时候模型只是把训练集里的套话背出来了语法看着挺顺BLEU 分数很高但和图像内容几乎无关。这不是玄学而是传统字幕评估指标的机制缺陷。基于 n-gram 重叠的指标BLEU、ROUGE、METEOR、CIDEr假设“字幕质量取决于和参考答案的文本相似度”它天然惩罚那些表达方式不同但内容正确的字幕。基于嵌入相似度的指标如 CLIPScore、RefCLIPScore则假设“字幕质量取决于与图像的语义对齐程度”它在整体相关性判断上有了突破但仍难以处理细粒度事实错误——模型完全可以说出“男人在打篮球”这种与图像整体风格匹配、但把“足球”说成“篮球”的错误而相似度分数不一定显著降低。更深层的问题在于这些指标把“理解”和“生成”混为一谈导致我们无法定位模型的真正短板。一个字幕分数低到底是因为视觉编码器没有识别出关键实体还是因为语言模型生成时颠三倒四两种问题需要完全不同的优化策略但传统指标给不了这个信息。CAPEval 要解决的就是这类问题。它提供了一个解耦评测框架先考察字幕的内容是否忠于图像事实再考察字幕作为自然语言是否流畅、准确、符合语法。理解模块聚焦视觉信息的还原度生成模块聚焦语言表达的文本质量。两个维度独立打分最终再组合成一个综合判断。什么人最应该关心这套思路做多模态模型训练和评测的工程师需要从指标分数中反推模型短板。做数据标注和质量筛查的团队需要区分“语义错误”和“文本质量问题”。做 Agent 或多模态应用的开发者需要判断一个视觉模型输出的字幕能不能直接被下游任务使用。如果你只是偶尔跑一跑字幕 Demo那 CAPEval 的完整工程实现可能略重。但它的解耦思想对任何需要评估文本生成质量的人来说都有借鉴价值。2. 现有字幕评估指标的局限为什么一个分数越来越不够用在展开 CAPEval 之前有必要把现有指标体系梳理清楚。只有理解了它们的局限才能理解 CAPEval 的价值在哪里。2.1 基于 n-gram 重叠的指标BLEU、ROUGE、METEOR、CIDEr 是图像字幕领域使用最久的指标。核心思想是计算候选字幕与参考答案之间的 n-gram 重叠程度。它们的问题可以归结为三点同义表达被惩罚。“A dog is chasing a ball” 和 “A ball is being chased by a dog” 内容几乎等价但 n-gram 重叠率很低。没有语义容错。“a white cat” 和 “a cat that is white” 在人类眼中是同一事实在 BLEU 眼中是不同字符串。参考答案稀疏性。数据集通常只提供少量参考标注但正确字幕的可能表达空间几乎是无限的。2.2 基于嵌入相似度的指标CLIPScore 和 RefCLIPScore 用文本和图像的嵌入相似度来度量字幕与图像的相关性。它的优势是打破了文本重叠的局限能捕捉整体语义相关性。但它仍有一个明显盲区无法细粒度验证事实。它可能判断“一只狗在草地上奔跑”和对应图像有较高的整体相似度但无法严格区分“狗”和“猫”这种实体级别的错误也无法验证“奔跑”这个动作是否真的发生了。2.3 基于大模型打分的方式近两年LLM-as-a-Judge 在文本评估中流行起来。让 GPT 等模型直接对字幕打分确实在语义理解和内容判断上有了飞跃。但直接让模型打分也带来了新问题打分标准不稳定。同一个模型在不同温度参数下针对同一字幕可能给出不同分数。容易受到语言流畅度的干扰。大模型倾向于给语法流畅、表达自然的文本打高分即使它包含细微的事实错误。这恰恰是“生成质量”污染“理解质量”的典型例子。无法定位具体错误类型。一个 7 分的字幕到底错在实体识别、关系理解还是语言冗余直接打分给不了结构化反馈。2.4 三个维度的能力图谱传统方法的主要缺陷可以归纳为下表指标准体系考察核心能否验证视觉事实能否评估语言质量核心短板n-gram 重叠指标文本相似度弱弱同义表达被惩罚语义理解缺失嵌入相似度指标图文对齐度中弱无法细粒度验证实体与关系直接大模型打分整体质量中中理解与生成混杂无法定位错误CAPEval 思路理解生成解耦强强需要额外设计评测流程和工具调用从这个对比可以看出CAPEval 并不是简单地抛弃传统指标而是把“用什么衡量”和“衡量什么”分开不同的质量维度应该使用不同的衡量方法。3. CAPEval 的核心理念理解和生成必须分开测CAPEval 这个名字的关键词是 Decoupled解耦。它把字幕评估拆成两个独立维度每个维度有自己的评测目标和评测策略。3.1 理解维度字幕是否还原了图像的视觉事实理解维度要回答的问题是模型从图像中提取的信息是否真实、完整、与图像一致判断标准不是“和参考答案像不像”而是“字幕中描述的内容能不能在图像中找到对应证据”。CAPEval 的典型做法是利用大模型的能力把一条字幕转换成一系列需要验证的问题。这些问题针对字幕中出现的实体、属性、关系、动作、数量等关键信息。然后通过视觉问答或视觉定位工具验证这些问题在图像中是否成立。举个例子。模型生成了这样一条字幕A man in a red shirt is riding a bicycle down a street.理解模块可以把它拆解成几个待验证命题图像中是否存在一个人这个人的衬衫是否是红色这个人是否在骑自行车场景是否是街道每个命题都可以转化为一个具体问题交给一个可信的视觉验证模块来判断。如果大部分命题为真说明模型确实“看懂了”图像如果命题为假则说明字幕存在事实幻觉。这种 QA-based evaluation 的思路并不算全新但它和传统字幕评估结合时的价值被低估了它把模糊的整体质量打分转换成了可追溯、可诊断的命题验证。3.2 生成维度字幕作为自然语言是否流畅、准确、易读生成维度要回答的问题是即便内容没有事实错误模型的语言表达是否达到了高质量文本的标准这个维度关注字幕本身的文本质量包括语法正确性、句子结构、流畅度、简洁性、信息密度等。它不关心字幕是否忠实于图像只关心文字本身是否像一个合格的语言生成结果。这部分可以借助语言模型或专门的文本质量指标来完成。比如用流畅度模型打分、用语言模型计算困惑度Perplexity、用语法错误检测工具评估句法合法性等。需要强调的是生成维度的评估应该独立于理解维度进行。如果模型对图像内容理解正确但生成时句子结构混乱、冗余重复它依然不是一个合格的字幕系统。反之如果模型生成了一段非常流畅但完全是幻觉的文本也不能因为语言质量好而放过事实错误。3.3 两者的关系独立评测组合决策CAPEval 的策略是“独立评测组合决策”。理解维度和生成维度分别给出分数最后综合起来形成整体评价。这样做的好处非常明显。当某个模型在排行榜上分数不佳时你可以快速回答一个关键问题它到底是没看懂还是没说好这个诊断能力是传统指标无法提供的。更精细地看两个维度的分数组合方式还可以根据场景定制。如果下游任务是对图像内容做事实性描述比如医疗影像报告生成理解维度的权重应该高于生成维度如果下游任务是生成自然、吸引人的社交媒体文案生成维度的权重则可以更高。4. CAPEval 架构设计双模块评测流程从工程视角看CAPEval 不是一个单独的模型而是一套评测架构。下面从抽象层面拆解它的模块化设计。4.1 整体流程CAPEval 的评测流程可以概括为四个阶段第一个阶段字幕生成。被测模型接收图像输入生成候选字幕。第二个阶段理解评测。用问题生成器把字幕分解为一系列验证命题再通过视觉验证模块判断每个命题是否成立得到理解分数。第三个阶段生成评测。用文本质量评估模块对字幕的语言质量打分得到生成分数。第四个阶段结果综合。按照任务需求将两个维度的分数综合为最终评价并输出诊断报告。被测模型 - 候选字幕 - 理解评测模块 - 理解分 | ----- 生成评测模块 - 生成分 | ----- 综合报告需要注意这里没有使用 Mermaid 图仅用文本形式描述流程方便在各种 Markdown 环境中直接阅读。4.2 理解评测模块的设计理解评测模块的关键是“验证”不是“打分”。它包含两个子模块命题生成器将字幕转换为可验证的自然语言问题或命题。这一步推荐使用大模型完成因为字幕中的信息点可能涉及多轮语义关系规则化提取会漏掉很多细节。视觉验证器对每个命题判断它在给定图像中是否成立。这个验证器可以是视觉问答模型也可以是带有视觉定位能力的多模态理解模型。为了测试的信度建议固定验证器参数并采用多数投票或多次采样策略。这个模块的难点在于命题生成的粒度控制。如果问题太粗验证结果没有区分度如果问题太细评测成本会急剧上升。实际工程中可以根据字幕长度和目标场景动态调整命题数量。4.3 生成评测模块的设计生成评测模块的目标相对独立。如果只是评估文本质量比较简单的方式是使用语言模型计算 perplexity 或直接打分。更完整的方案是结合多个维度语法正确性是否违反基本语法规则流畅度是否像自然语言表达信息密度是否存在冗余内容语言风格与指令一致性如果任务有明确风格要求这一模块相对容易工程化因为它不涉及图像输入可以复用大量成熟的文本生成评估基础设施。5. 环境准备与前置条件前面分析了概念和架构现在进入实操。为了说明 CAPEval 的思路我会实现一个简化但完整的“理解与生成分离”评测脚本。本文的示例代码以 Python 为主使用 OpenAI 兼容接口调用大模型不依赖具体厂商你可以在任何兼容接口的服务上运行。5.1 运行环境Python 3.9 或以上版本一个可用的 OpenAI 兼容 API用于调用多模态模型生成字幕和验证问题一个本地字幕生成模型如果不想在示例里调用远程 API也可以使用 Transformers 模型生成候选字幕pip 包openai、Pillow、requests具体版本请以实际安装为准本文重点演示通用思路。5.2 安装依赖pip install openai pillow requests python-dotenv安装完成后在项目目录创建.env文件填入你的 API 配置。# 项目根目录 .env API_BASEhttps://your-api-endpoint.example.com/v1 API_KEYyour_api_key_here IMAGE_PATH./sample_image.jpg这里不指定任何厂商只给出通用占位符。实际使用中请替换为你的有效配置。6. 简化版 CAPEval 评测脚本实现下面开始实现一个最小可用版本。整个脚本的核心思路是调用多模态模型生成字幕。将字幕交给大模型拆解成多个可用于验证的命题。将每个命题与图像一起交给多模态模型做二分类验证。用语言模型评估字幕文本质量。汇总两个维度分数输出诊断报告。这个实现本质上是一个 CAPEval 风格的最小演示便于你理解它的数据流和关键逻辑。6.1 准备工具模块新建capeval_demo/utils.py# 文件路径capeval_demo/utils.py import base64 import os from openai import OpenAI def get_client(): 从环境变量初始化 OpenAI 兼容客户端 return OpenAI( api_keyos.getenv(API_KEY), base_urlos.getenv(API_BASE), ) def encode_image_to_base64(image_path: str) - str: 读取本地图片并转为 base64 with open(image_path, rb) as f: return base64.b64encode(f.read()).decode(utf-8)这一段不需要过多解释先统一封装客户端初始化和图片编码后续调用都复用这两个方法。6.2 生成字幕新建capeval_demo/caption_generator.py# 文件路径capeval_demo/caption_generator.py from openai import OpenAI from .utils import encode_image_to_base64 def generate_caption(client: OpenAI, image_path: str, model: str gpt-4o-mini) - str: 调用多模态模型生成图像字幕 image_base64 encode_image_to_base64(image_path) response client.chat.completions.create( modelmodel, temperature0.2, messages[ { role: user, content: [ { type: text, text: 请用一句自然流畅的英文描述这张图片的内容。, }, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{image_base64} }, }, ], } ], ) return response.choices[0].message.content.strip()在实际评测中被测模型也可以是本地部署的视觉语言模型。这里使用兼容接口只是为了让演示代码更短、更通用。6.3 命题生成模块这个模块负责把字幕分解为可验证的命题。这一步是 CAPEval 理解维度最关键的环节。# 文件路径capeval_demo/proposition_extractor.py import json from openai import OpenAI def extract_propositions( client: OpenAI, caption: str, model: str gpt-4o-mini, ) - list[str]: 将字幕转换为一系列可以基于图像验证的命题。 命题要求每个命题必须只包含一个可验证的视觉事实。 prompt f 你是一个专业的字幕事实抽取器。请把下面这条图像字幕中提到的视觉事实拆解成 独立的命题。 要求 1. 每个命题只涉及一个事实。 2. 命题必须能被图像直接验证不要输出抽象评价。 3. 保留实体、属性、动作、数量、位置等视觉信息。 4. 使用 JSON 数组返回不要输出任何额外文字。 字幕{caption} 示例输出 [画面中有一个人, 这个人穿着红色衬衫, 这个人正在骑自行车] response client.chat.completions.create( modelmodel, temperature0.0, messages[{role: user, content: prompt}], ) content response.choices[0].message.content.strip() # 处理模型偶尔在 JSON 外添加 markdown 标记的情况 content content.replace(json, ).replace(, ).strip() return json.loads(content)这里的 Prompt 设计参考了 VQA 评测中常见的“命题分解”风格。关键在于强制模型只输出 JSON同时用示例约束输出格式。6.4 视觉验证模块对每个命题我们让多模态模型判断它在图像中是否成立。# 文件路径capeval_demo/visual_verifier.py from openai import OpenAI from .utils import encode_image_to_base64 def verify_proposition( client: OpenAI, image_path: str, proposition: str, model: str gpt-4o-mini, ) - bool: 判断命题在图像中是否成立 image_base64 encode_image_to_base64(image_path) response client.chat.completions.create( modelmodel, temperature0.0, messages[ { role: user, content: [ { type: text, text: f请判断下面的命题是否与图像内容一致。 f只能回答 yes 或 no。\n命题{proposition}, }, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{image_base64} }, }, ], } ], ) answer response.choices[0].message.content.strip().lower() return answer.startswith(yes)这个模块的真实效果取决于验证模型本身的能力。因此 CAPEval 在设计上建议验证模型与被测模型分离避免“运动员兼裁判”的评估偏差。6.5 生成质量评估模块理解维度验证完后我们评估字幕的文本生成质量。# 文件路径capeval_demo/generation_quality.py from openai import OpenAI def evaluate_generation_quality( client: OpenAI, caption: str, model: str gpt-4o-mini, ) - float: 使用大模型评估字幕的语言生成质量。 分数范围 0-100关注流畅度、语法正确性和可读性。 prompt f 请从语言生成质量的角度评估下面这条图像字幕不涉及图像内容是否正确。 评估维度 - 语法正确性 - 流畅度 - 表达是否冗余 - 是否符合自然语言习惯 输出一个 0 到 100 的整数分数并给出不超过 20 个字的简短理由。 格式分数: 理由 字幕{caption} response client.chat.completions.create( modelmodel, temperature0.0, messages[{role: user, content: prompt}], ) content response.choices[0].message.content.strip() # 简单解析分数 try: score_text content.split(:)[0].strip() return float(score_text) except (ValueError, IndexError): return 0.06.6 主流程整合理解与生成分数新建capeval_demo/run_evaluation.py完整串联整个评测流程# 文件路径capeval_demo/run_evaluation.py import os from dotenv import load_dotenv from .caption_generator import generate_caption from .generation_quality import evaluate_generation_quality from .proposition_extractor import extract_propositions from .utils import get_client from .visual_verifier import verify_proposition load_dotenv() def run_capeval_demo(image_path: str): client get_client() print( 步骤 1生成字幕 ) caption generate_caption(client, image_path) print(f字幕: {caption}) print(\n 步骤 2理解维度评估 ) propositions extract_propositions(client, caption) print(f抽取到 {len(propositions)} 个命题) results [] for prop in propositions: ok verify_proposition(client, image_path, prop) results.append({proposition: prop, valid: ok}) print(f [{OK if ok else NO}] {prop}) understanding_score sum(1 for r in results if r[valid]) / len(results) * 100 print(\n 步骤 3生成维度评估 ) generation_score evaluate_generation_quality(client, caption) print(f生成质量分数: {generation_score}) print(\n 步骤 4综合报告 ) print(f理解分数: {understanding_score:.1f} / 100) print(f生成分数: {generation_score:.1f} / 100) print(f最终综合分: {(understanding_score generation_score) / 2:.1f} / 100) if __name__ __main__: image_path os.getenv(IMAGE_PATH, ./sample_image.jpg) run_capeval_demo(image_path)简单总结一下主流程的四个步骤生成字幕、抽取并验证命题、评估生成质量、输出综合报告。理解分数来自“命题验证通过率”生成分数来自语言模型打分两者完全独立。7. 运行结果与效果验证7.1 运行命令在项目根目录执行python -m capeval_demo.run_evaluation如果你的目录结构和上面示例完全一致这个命令应该能正常启动评测流程。7.2 预期输出假设输入的是一张有人在公园跑步的照片可能的输出如下 步骤 1生成字幕 字幕: A man is jogging in a park on a sunny day. 步骤 2理解维度评估 抽取到 3 个命题 [OK] 画面中有一个人 [OK] 这个人正在跑步 [OK] 场景里有绿色植物 步骤 3生成维度评估 生成质量分数: 92.0 步骤 4综合报告 理解分数: 100.0 / 100 生成分数: 92.0 / 100 最终综合分: 96.0 / 1007.3 如何判断评估是否有效判断这套评测流程是否有效不能只看最终分数还要看两个维度的分数是否有区分度。可以做一个反向验证把字幕人为改成与图像不符的内容再跑一次流程。如果理解分数明显下降说明命题验证机制是有效的如果理解分数依然很高说明命题抽取或视觉验证环节可能存在问题。也可以把字幕改成语法混乱但内容正确的句子比如“man jogging park sunny”再跑一次。此时理解分数应该保持较高但生成分数明显下降。这种对比验证恰恰是 CAPEval 解耦设计的核心优势。8. 常见问题与排查方法在实际运行或改造 CAPEval 流程时以下几类问题比较常见。问题现象可能原因排查方式解决方案API 调用报 401 错误API Key 错误或未正确加载检查.env文件是否被读取确认环境变量名称与get_client()中一致命题抽取返回的不是 JSON大模型输出格式不稳打印原始响应内容在 parse 前清除 markdown 标记并增加异常重试理解分数总是接近 100命题粒度太粗或验证模型过宽容检查命题列表是否过于笼统细化命题抽取 Prompt要求拆解到实体和关系级别生成分数与主观感受不一致打分模型本身偏好长句或短句人工抽检若干字幕的打分理由更换评估模型或使用多个模型投票图片编码后请求体过大图片分辨率过高检查请求报错信息压缩图片尺寸或限制单张图片大小多个命题验证结果不稳定多模态模型判断存在随机性固定 temperature0重复多次采样对每个命题采样 3 次取多数投票结果重点提示当发现分数异常不要急着调 Prompt先打印中间结果。字幕模型生成的内容、命题抽取器的输出、视觉验证模型的原始回答这些中间产物才是指标链路的问题根源。9. 最佳实践与工程建议CAPEval 的完整落地和上面这个简化 Demo 之间还有不少距离。如果你打算在真实项目中把理解与生成解耦评估体系跑起来以下建议值得参考。9.1 命题生成是理解维度的质量上限命题抽取的质量直接决定理解评测的上限。如果命题生成器漏掉了关键实体或错误拆分语义关系后续视觉验证再准也无法补救。建议在实际 Prompt 中加入结构化约束。例如要求模型按“实体 - 属性 - 动作 - 关系 - 场景”的维度逐一抽取而不是随意列几个句子。这样得到的命题覆盖更全面也更方便做错误归因。9.2 验证模型应独立于被测模型要让评测结果可信验证模型不能是生成字幕的那同一个模型否则极易出现自说自话的“自我偏好”。在实际操作中建议被测模型使用 A验证模型使用 B。如果 B 的视觉能力明显强于 A那验证结果的可信度会更高。也可以同时使用多个验证模型并对结果做交叉验证。9.3 给每个维度建立基线分数解耦评测的意义在于定位问题但定位问题需要参考坐标。建议在评测管线中固化三个基线随机字幕基线随机从测试集挑选字幕用于观察理解分数的下限。简单模板字幕基线如“一张图片”用于观察生成分数的下限。高质量人工字幕基线用于观察两个维度的上限参考。有了这组基线模型分数落在哪个区间才更有解释力。9.4 多模态验证应使用多数投票视觉问答模型通常不是完全确定性的。同一个命题同一个模型多次采样可能产生不一致的结果。工程化建议每个命题采样 3 次或 5 次以多数投票结果为准。这会增加调用成本但能显著提升验证稳定性。9.5 综合分数只是一个入口诊断报告才是核心输出CAPEval 最有价值的产出不是那个最终综合分而是诊断报告。建议在评测结果中记录验证失败的命题原文是什么。这些失败命题集中在哪些语义维度实体、关系、属性、动作。生成维度的低分是由语法、流畅度还是冗余引起。这份诊断报告可以指导下一步优化方向如果失败集中在实体识别优先调视觉编码器或指令如果失败集中在关系错误可能需要增加视觉定位或思维链推理能力。10. 总结与后续学习方向CAPEval 最大贡献不是发明了一个全新指标而是把“图像字幕评估”从一维打分推进到了二维解耦评测。它提醒我们字幕质量不是一个单一属性而是视觉理解能力与语言生成能力的联合输出。理解维度关注“模型是否看懂了图像”生成维度关注“模型是否说出了合格的语言”。两个维度独立评测、组合决策让我们能回答传统指标回答不了的问题模型得分低到底是因为看不见还是因为说不清。如果你对这套思路感兴趣下一步可以从三个方向深入把理解模块中的命题生成改进为结构化的 scene graph 抽取用更细粒度的图结构衡量字幕与图像的语义一致性。把生成模块升级为多维度文本质量评估体系例如加入事实冗余检测、指代消解质量评估等。把整套流程接入现有的模型评测框架中为每个模型自动生成结构化解耦报告。图像字幕评估的终极理想不是让模型猜中人工写的参考答案而是建立一套可解释、可诊断、可复用的质量评估体系。CAPEval 的解耦思路是一个值得继续跟进的方向。建议在实际项目中先跑通一个最小闭环再逐步丰富命题生成器和验证策略。