StreamingBench：首个流式视频理解基准——多模态大模型离人类实时感知还有多远？

📄论文: StreamingBench: Assessing the Gap for MLLMs to Achieve Streaming Video Understanding
🏛️机构: 清华大学计算机系 & 人工智能研究院(AIR)、北京邮电大学
👥作者: Junming Lin, Zheng Fang, Chi Chen, Zihao Wan, Fuwen Luo, Peng Li, Yang Liu, Maosong Sun
🔗代码与数据: https://github.com/THUNLP-MT/StreamingBench
📅发布: 2024年11月 (arXiv: 2411.03628)

一、介绍：为什么需要「流式视频理解」？

当前多模态大模型（MLLMs）在视频理解方面取得了长足进步，GPT-4o、Gemini 1.5 Pro 等模型在多个离线视频基准上已展现出色表现。但这里有个根本性问题——这些模型都是「事后诸葛亮」。

所谓离线视频理解，就是先把所有视频帧一股脑塞给模型，然后才提问。这就像看完一部电影再写影评——和你一边看电影一边跟朋友吐槽完全是两码事。

人类是怎么看视频的？我们边看、边听、边想、边回应——这是实时的、流式的、连续的。你