【VR】LoVR: A Benchmark for Long Video Retrieval in Multimodal

note这篇论文提出了一个名为LoVRLong Video Retrieval的新型基准数据集专门针对长视频与文本之间的跨模态检索任务包括文本到视频/片段text-to-video/clip以及视频/片段到文本video/clip-to-text。数据构建长视频切片 → 每个片段生成并质检描述 → 汇总成长视频描述 → 人工最终验收。文章目录note一、 研究动机与核心问题二、 论文核心LoVR 数据集与构建方法1. 数据集规模与特色2. 高质量标注流水线3. 人工质量验证三、 实验结果与分析1. 当前模型的性能上限2. 模型架构的局限性3. 关键发现增加帧数并非万能4. 典型失败案例分析四、 总结一、 研究动机与核心问题LoVR: A Benchmark for Long Video Retrieval in MultimodalWWW 2026随着网络媒体平台的发展讲座、纪录片、直播等长视频已成为主流内容。用户在检索时不仅希望找到相关的长视频更期望能精准定位到视频内部的特定片段。然而现有的视频-文本检索基准存在明显短板无法有效评估模型在长视频场景下的表现视频时长受限传统数据集如 MSR-VTT、MSVD多为短视频平均时长不足1分钟难以模拟真实长视频中复杂的语义关联和时间跨度。标注质量不足部分数据集依赖 ASR自动语音识别生成文本语义保真度低而纯人工标注虽然准确但成本高昂且难以大规模扩展。缺乏细粒度评估多数基准仅支持“整段视频”的宏观检索缺乏对长视频内部“片段级Clip-level”精确定位的评测能力。二、 论文核心LoVR 数据集与构建方法LoVR 的核心贡献在于提供了一个覆盖全视频与片段级检索的大规模基准并设计了一套兼顾质量与效率的标注流水线。1. 数据集规模与特色LoVR 包含467 个真实长视频平均时长约 26 分钟即 1560 秒并从中切分出40,804 个细粒度片段。每个层级都配有高质量的文本描述视频级Video-level平均文本长度超过 10 万字符保留了完整的叙事脉络。片段级Clip-level平均时长约 18 秒平均文本长度约 1400 字符描述详尽。2. 高质量标注流水线为解决大规模高质量标注的难题论文提出了一套“VLM自动生成 自动质量评估 动态优化 人工兜底”的流程分段基于视觉内容变化如使用 PySceneDetect将长视频切分为语义连贯的片段。生成与质检利用先进的视觉语言模型如 Qwen2.5-VL生成初始字幕随后通过 EVQAScore 算法自动评估图文匹配度。动态优化得分低于阈值0.2的低质量字幕会被送入参数量更大的 VLM 重新生成若多次失败则由人工介入修正。语义融合针对长视频级描述论文采用语义融合方法将相邻片段的字幕进行对齐和重写而非简单拼接从而生成连贯的全视频摘要。3. 人工质量验证为了确保可靠性研究者进行了严格的人工评估。在随机抽取的 300 个片段和 100 个长视频中25 位参与者对图文匹配度进行打分0-5分。结果显示平均得分高达4.3 分且 78% 的样本获得了 4 分或 5 分证明了标注的高准确性。三、 实验结果与分析论文在 LoVR 上对三类主流模型图像编码器、视频编码器、多模态嵌入模型进行了系统评测主要结论如下1. 当前模型的性能上限实验涵盖了文本到视频/片段Text-to-Video/Clip和视频/片段到文本Video/Clip-to-Text四种双向检索任务。结果显示即使是当前最强的基线模型在 LoVR 上也面临巨大挑战LanguageBind-Video表现最佳其文本到视频的 R1 仅为42.6%视频到文本为37.5%。在更考验细粒度定位能力的文本到片段任务中最强模型的 R1 也仅徘徊在40%左右。这表明长视频检索远未达到“解决”的程度。2. 模型架构的局限性图像编码器的瓶颈以 CLIP 为代表的基础模型在长视频上表现较差文本到视频 R1 仅 23.3%证明其缺乏处理长时间跨度的时序建模能力。专用视频模型的优势VideoCLIP-XL 等专用视频编码器在片段级检索上表现优异R1 达 55.3%但在全视频级检索上仍显吃力说明单纯堆叠帧数无法解决长程语义理解问题。3. 关键发现增加帧数并非万能论文测试了不同采样帧数对检索的影响。令人意外的是将帧数从 10 增加到 30并未带来显著的性能提升。在某些情况下如文本到片段任务10 帧甚至优于 30 帧。这说明盲目增加视觉输入可能引入冗余噪声长视频检索亟需更高效的跨模态对齐算法。4. 典型失败案例分析长文本遗忘当查询文本过长时模型容易忽略位于末尾的关键细节如特定物体“平底锅”。情感与主题缺失模型能检索出场景相似的视频但往往无法捕捉到深层的“庄严且悲伤的氛围”等情感基调导致检索结果“形似神不似”。四、 总结LoVR 的提出填补了长视频多粒度检索评测的空白。它不仅是一个大规模数据集更是一套可复用的高质量多模态数据构建范式总构建成本约 820 GPU 小时。该基准清晰地揭示了当前模型在长程时序推理、复杂跨模态对齐以及深层语义理解方面的技术瓶颈为未来研发更强大的长视频理解模型指明了方向。