【论文解读】DEHOI：第一人称视频语言模型真的理解“手“和“物“吗？

论文: Do Egocentric Video-Language Models Capture Both Hand- and Object-Centric Cues?作者: Masatoshi Tateno (东京大学), Alexandros Stergiou (特温特大学), Risa Shinoda (东京大学), Yoichi Sato (东京大学), Dima Damen (布里斯托大学)发表: arXiv:2607.08514, July 2026单位: 东京大学 × 特温特大学 × 布里斯托大学 — 三校联合，第一人称视觉领域的梦之队一、这篇论文要解决什么问题？先看一个场景：你在厨房里揉面团。从第一人称视角看，画面里有你的手在做推压动作，面团在变形。如果让一个视频理解模型来判断你在做什么，它应该同时关注两个信息源：手在做什么（hand-centric cue）：推、压、翻折的手部动态物体发生了什么变化（object-centric cue）：面团从块状变成扁平状但现实是——当前的视频语言模型（VLM）经常在这上面翻车。论文给出了一个非常扎心的例子（图1）：一段揉面团