让大语言模型“看”视频这件事最容易被低估的环节其实是帧选择frame selection。我见过不止一个团队把精力全花在模型选型和提示词调优上结果视频理解任务的效果始终上不去最后发现瓶颈就出在“到底喂了哪些帧”这一步。模型再强提示词写得再细只要抽出来的画面没有覆盖关键信息它看到的就不是你想让它看的视频内容。这篇文章不是讲某个具体模型怎么调用而是把我做多模态 LLM 视频理解任务的实测经验拆开为什么帧选择决定了任务上限、几类主流抽帧策略分别适合什么场景、怎么用可量化的方式验证抽帧效果、以及落地时最容易踩的坑。如果你正准备把一段视频交给视觉大模型做问答、摘要、事件检测或内容审核这篇文章的顺序可以直接照着走。1. 先搞清楚为什么视频不能直接“喂”给 LLM1.1 视频的原始形态和 token 限制是硬约束一个 10 分钟的视频按 25fps 计算大概有 15000 帧。多模态大模型读图时会把每张图拆成若干视觉 token。不同模型对视觉 token 的计算方式差异很大有的是固定值有的按分辨率动态计算但共同点是单张图片占用几百到上千个 token 是很常见的情况。15000 帧直接塞进去绝大多数模型的上下文窗口根本装不下。就算某些长上下文模型硬能装下计算成本和响应延迟也会高到无法接受。所以凡是“让 LLM 看视频”的方案本质都是一条链路先抽帧再编码再推理。抽帧是第一步也是信息损耗最大的一步。这里要纠正一个误区很多人把抽帧当成“预处理里最不起眼的小事”觉得随便均匀抽几帧就行。实际上抽帧是整条链路里唯一决定“模型能接触到什么信息”的环节后续所有推理都建立在它之上。1.2 没被抽中的帧对模型来说就等于不存在这句话听起来像废话但真正踩过坑的人会明白它的分量。对 LLM 来说输入里没有的画面就是不存在的。视频里的动作、表情、物体变化、事件先后只有出现在抽出的帧里模型才有机会“看到”。我之前做过一个视频内容问答任务模型反复答错其中一个关键动作排查了很久换了模型也换了提示词问题依然存在。后来把抽出的帧按时间顺序一张张看过去才发现关键动作正好落在两个采样点之间模型压根没见过那个画面。那不是模型能力问题是抽帧密度问题。所以当你在做视频理解时心里要有一根弦帧选得不对后面所有优化都是白费。这也是标题里那句话的真正含义——帧选择就是整场游戏。1.3 本质上是“用少量静态图还原一段动态信息”抽帧可以理解为一次有损压缩。你需要在有限的帧预算里用 8 张或 16 张静态图尽可能还原整段视频中对当前任务有用的信息。这就带来一个核心问题怎么定义“重要”。不同任务里“重要”的标准完全不一样。做事件检测关键帧是动作发生、物体出现、状态改变的时刻。做内容摘要关键帧是信息密度最高的画面比如 PPT 标题、图表、结论页。做时序问答关键帧还必须保留事件先后顺序不能只看单帧重要性。做安全审核关键帧可能是不起眼的角落、一闪而过的物体。同一个视频不同任务需要保留的帧完全不同。所以帧选择没有一个放之四海皆准的固定答案只能根据任务设计策略。这也是为什么它值得单独花时间研究和验证。2. 三类主流的帧选择策略各自解决什么问题2.1 均匀抽帧简单但只能当基线均匀抽帧是最基础的做法固定时间间隔取帧比如每秒 1 帧、每 3 秒 1 帧或者固定抽 N 帧按视频总时长均分。它的优点很明显实现简单、可复现、成本低不需要任何额外分析。用 ffmpeg 一条命令就能完成。适合画面变化比较均匀的内容比如课程讲解、PPT 录屏、慢速访谈、会议录制。这类视频信息变化缓慢均匀抽帧基本不会漏掉关键内容。缺点也摆在明面上镜头切换多的视频会抽到大量重复帧或中间过渡帧而关键动作如果恰好发生在采样间隔之间就会被漏掉。比如一段投篮视频球出手到入筐可能只有 1 秒如果你每 3 秒抽一帧很可能只抽到起跳前和落地后的画面进球瞬间完全缺失。我一般会先跑均匀抽帧。它不是一个“最优方案”但它是一个很好的基线。先把均匀抽帧跑通确认下游模型、提示词、输入格式都没问题再决定要不要换更复杂的抽帧策略。如果均匀抽帧已经能满足需求就没必要增加复杂度。2.2 场景切换抽帧按视频结构来分配帧预算场景检测的思路是基于画面内容差异把视频切成多个镜头或场景再从每个场景里选一帧或多帧。这样做的价值在于把有限的帧预算分配在不同场景上而不是浪费在同一个场景的大量相似帧上。工具层面可以用 PySceneDetect 这类开源库。它通过计算相邻帧之间的内容差异来检测镜头边界差异超过阈值就认为发生了一次场景切换。检测到场景列表之后可以从每个场景中取首帧、中间帧或关键帧。这个策略适合镜头语言比较完整的视频比如电影片段、新闻视频、纪录片、监控回放、多机位活动录像。它的核心优势是避免“一个场景占掉一半帧数另一个场景一帧都没有”的极端情况。但要注意场景检测不是全自动就能跑好的。阈值需要针对视频内容调整阈值太高会把镜头切换漏掉多个场景被误当成一个阈值太低会把同一场景切成很多碎片段导致帧预算被分散。建议在正式处理前先用一段 30 秒的样片测试几组阈值看看切分结果是否符合直觉。2.3 内容评分抽帧让算法告诉你哪一帧重要这是目前提升任务上限比较明显的方向核心思路是“先穷举再筛选”。先用较密的间隔抽出大量候选帧然后用一个轻量级的视觉-文本对齐模型给每帧打分最后按分数选出最重要的若干帧。CLIP 就是这类模型的典型代表。你可以把每一帧和一条任务相关的文本提示做相似度计算。比如任务要判断“视频里有没有人摔倒”就用“一个人摔倒在地上”作为提示把相似度最高的几帧选出来。这样选出的帧和任务目标的相关性通常比均匀抽帧高很多。这个方案的缺点是额外计算成本。候选帧一多逐帧编码、打分会消耗不少时间。如果视频很长还需要先做一次粗筛把候选帧池控制在一个合理范围。另外提示词的质量直接影响评分效果提示写得太宽泛分数区分度就会下降。2.4 三种策略怎么选先看这张对比表策略核心原理优点缺点适合场景均匀抽帧固定时间间隔取帧简单、可复现、成本低容易漏掉关键动作重复帧多课程、录屏、访谈、会议场景切换抽帧按画面差异切分场景后再取帧帧预算分配更合理避免重复帧阈值需要调试慢节奏视频容易误切电影、新闻、监控、纪录片内容评分抽帧用视觉-文本模型打分选帧与任务目标相关性最高计算成本高依赖提示词质量事件检测、特定目标查找、内容审核实际项目中这三种策略不一定是互斥的。可以先场景检测在每个场景内再做均匀抽帧也可以先均匀抽帧得到候选池再用 CLIP 打分压缩。框架是灵活的关键是明确当前任务最需要的到底是“不漏”还是“不重”。3. 一次完整的帧选择实验从命令到验证3.1 先把工具链和环境准备好做帧选择实验至少需要四类工具ffmpeg负责从视频里抽帧支持各种格式和分辨率。OpenCV 或 Pillow负责读取、缩放、拼接图像做基础过滤。PySceneDetect负责场景检测如果你要走场景切分路线。CLIP 或等价的视觉-文本对齐模型负责给候选帧打分。最后还需要一个多模态 LLM 作为“判题器”它可以是云端接口也可以是本地部署的开源视觉模型。环境上建议先准备一段 3 到 5 分钟的短视频内容里包含两三个明显的关键事件方便人工核对结果。不要一上来就拿 1 小时的视频做实验那样排错周期太长。3.2 均匀抽帧的最小流程假设你已经安装好了 ffmpeg抽帧命令是这样# 示例每秒抽 1 帧输出到 frames 目录 ffmpeg -i input.mp4 -vf fps1 -q:v 2 frames/frame_%04d.jpg这里有三个点要注意fps1表示每秒抽 1 帧。想更密就改成fps2想更疏就改成fps0.5。-q:v 2控制输出图片质量数值越小质量越高一般 2 到 3 就够用。输出文件名里的%04d是四位数字计数器生成frame_0001.jpg这种格式。抽完之后先人工扫一遍帧目录确认没有黑屏、花屏、完全模糊的帧也确认没有大量连续重复的画面。这个步骤不用太精细但一定要做否则后面模型输出异常时你很难判断是抽帧问题还是模型问题。3.3 场景检测抽帧的最小流程安装 PySceneDetect 后先检测场景边界# 示例检测场景切换列出场景列表 scenedetect -i input.mp4 detect-content -t 20 list-scenes-t 20是内容检测阈值数值越小越敏感。检测完成后会输出每个场景的起始时间和结束时间。再从每个场景里取一帧代表帧比如中间帧。这里要注意原始视频分辨率过高时建议先缩放再做检测既能提速也能减少画面噪点对阈值判断的干扰。3.4 用评分模型给候选帧打分假设你已经用较密的间隔抽出了一批候选帧接下来用类似 CLIP 的模型逐个打分。下面是很简化的示意代码实际依赖版本、模型路径和预处理方式要以你的环境为准# 示例代码候选帧打分流程示意 import torch import clip model, preprocess clip.load(ViT-B/32) # 假设 load_candidate_frames 返回已经预处理好的帧张量 frames load_candidate_frames(frames/) text clip.tokenize([一个人摔倒在地上]) with torch.no_grad(): image_features model.encode_image(frames) text_features model.encode_text(text) scores (image_features text_features.T).squeeze() # 取分数最高的 8 帧 top_indexes scores.topk(8).indices打分之后取出分数最高的 8 帧或 16 帧按原始时间顺序重新排列再送入多模态 LLM。这里最容易被忽略的一点是按分数选帧之后一定要恢复时间顺序。否则模型收到的帧顺序乱了事件先后关系就会错乱。3.5 怎么判断帧选得好不好验证抽帧效果不能只看模型回答“顺不顺”要看关键事件召回率。具体做法是先人工标注视频里的 3 到 5 个关键事件比如“第 20 秒有人拿起杯子”“第 47 秒门被推开”“第 63 秒屏幕出现报错”。然后分别用不同抽帧策略跑一遍任务统计模型回答里覆盖了几个事件。如果某个策略只能覆盖 1 个事件而另一个策略覆盖了 4 个差距就很直观。如果事件覆盖了但回答里的先后顺序错了很可能是时间信息没有正确传给模型。如果模型答出了帧里没有的信息反而要警惕那可能是幻觉不是帧选得好。这个人工验证过程比较费眼但它是量化评估抽帧效果最直接的方式。没有这套标注你很难知道一个策略改动到底是变好了还是变坏了。4. 帧数、分辨率、token 预算之间的平衡4.1 先搞清楚 token 是怎么被吃掉的帧数越多视觉 token 越多这是谁都明白的道理。但实际项目里很多人会忽略一个更现实的问题不同模型对图片的 token 计算方式不同有的按图片张数有的按分辨率有的是固定值加动态缩放。所以不要凭感觉定帧数。动手之前先查一下你用的模型或接口对图片输入数量、单张图片尺寸、总 token 上限的限制。这些信息通常在模型文档里有明确说明。如果没有明确说明就先用小样本测试观测请求是否被截断、响应是否异常变慢。4.2 网格图拼接与多图输入怎么选把多帧送给模型常见有两种方式第一种是拼成一张网格图比如把 16 帧拼成 4×4 的网格一次性送入。优点是请求次数少适合 API 调用次数受限或网络开销敏感的场景。缺点是每张小图的分辨率被压缩小物体、文字、屏幕细节容易看不清。第二种是按多张图片分别送入模型让模型一次看到多张独立图片。优点是保留更多细节缺点是需要确认你用的模型支持多图输入而且 token 消耗会更大。我的建议是先用多图输入跑小样本确认模型能区分每帧内容再决定是否压成网格图。如果模型连单帧里的文字都看不清拼网格图只会更糟。4.3 时间信息怎么保留比很多人想的更重要如果只给模型一堆没有顺序标记的帧它很难判断事件先后。这个问题在均匀抽帧里还不明显因为文件名有编号但用 CLIP 打分选出的帧顺序是乱的如果直接送入模型时序信息就丢了。更稳妥的做法在输入里给每帧加上时间偏移信息。一种简单的实现是在发送给模型的文本提示里按时间顺序列出每帧的描述位置请按时间顺序观察以下视频帧回答每帧对应的核心事件 第 1 帧t0s画面内容描述 第 2 帧t5s画面内容描述 第 3 帧t8s画面内容描述如果你用的是支持“文本多图”的接口可以把每帧图片和对应的时间说明交替排列或者把时间说明统一写在图片序列之前。关键是时间偏移要和实际抽帧位置一致不要用文件名序号直接当秒数除非你确认抽帧间隔正好是 1 秒。5. 落地时最容易踩的几个坑5.1 以为问题出在模型实际出在抽帧这是我在视频理解项目里遇到频率最高的问题。模型输出不对第一反应是换更强的模型或者调提示词折腾一圈没效果最后发现是抽帧根本没覆盖关键画面。排查顺序要先看帧再看模型。把抽出的帧按时间顺序肉眼过一遍确认关键事件是否真的存在。如果不存在是抽帧密度或策略问题如果存在但模型答错才能往提示词和模型能力方向查。这个顺序不能反。5.2 封面帧、黑屏、转场帧污染输入视频开头经常有封面帧、黑屏、品牌片头、渐变转场这类画面如果被抽进来会占用宝贵的帧数并干扰模型判断。尤其做内容审核或事件检测时一个纯色转场帧会拉低整批帧的信息密度。建议在抽帧后加一个简单的预处理计算每帧与上一帧的差异度把重复帧去掉用亮度方差排除纯黑或纯白画面还可以去掉视频开头和结尾的固定长度比如前 2 秒和后 2 秒。这个预处理成本很低但对结果稳定性帮助很大。5.3 固定帧数策略在不同视频上效果差异巨大有人习惯“统一抽 16 帧”这个做法在短视频上可能没问题但 10 秒的短视频和 60 分钟的课程视频信息密度完全不同。10 分钟视频抽 16 帧平均 37 秒才一帧很可能漏掉大量内容60 分钟视频抽 16 帧每一帧都要代表近 4 分钟的内容选帧压力极大。更合理的做法是先指定目标帧数范围再根据视频时长动态计算抽帧间隔。或者反过来先定抽帧密度再根据模型 token 限制决定最终能保留多少帧。无论哪种方式都不要在不同长度的视频上使用同一个固定帧数。5.4 场景检测阈值不调就直接用PySceneDetect 的默认阈值在部分视频上能用但不代表所有视频都能用。镜头切换快的视频默认阈值可能把场景碎片化一个连续镜头被切成几十段慢节奏访谈视频默认阈值又可能漏掉重要切换。建议先拿一段 30 秒样片跑几组阈值看场景切分结果是否符合直觉。阈值本身没有“标准答案”只有“当前任务合适”和“不合适”的区别。5.5 视频分辨率过高或过低都影响结果分辨率过高帧图像文件大、编码慢、token 消耗高分辨率过低画面里的文字和小物体直接看不清。通用的做法是在送入模型前把帧缩放到一个合理尺寸比如短边 512 或 768 像素。这个尺寸既要保证内容清晰又要控制 token 成本。如果你的视频里有大量屏幕文字分辨率要优先保证文字可读如果是监控或体育场景分辨率可以适当降低重点是保持主体轮廓和运动轨迹。6. 更进阶的做法分层粗筛 动态精筛6.1 第一层先抽候选帧池目标是“不漏”不要一上来就定最终帧数。先用较低分辨率、较密的间隔抽出一个候选帧池比如每 0.5 秒抽一帧。这个阶段的核心目标是“不漏”宁可多抽也不能漏掉关键动作。候选帧池的数量可能很大但没关系这个阶段只是中间产物。后续压缩会把数量降下来。需要注意的是候选帧池的分辨率可以低一些但画面内容必须能看清楚否则后续评分和筛选都失去了意义。6.2 第二层用评分或场景信息压缩目标是“不重”在候选帧池上做一次压缩。三种常用手段去掉重复帧计算相邻帧的差异度低于阈值的直接删掉。场景切分取代表帧每个场景保留一帧或两帧避免同一场景占用过多预算。CLIP 打分取高分帧结合任务提示选出与目标最相关的帧。这个阶段的目标是“不重”把有限的帧预算留给真正重要的画面。和第一阶段结合逻辑就很清晰候选帧池负责覆盖压缩阶段负责聚焦。6.3 第三层把字幕、音频转写作为辅助信号很多视频里的关键信息不只靠画面还有字幕和对白。课程讲解里结论经常由讲师口头说出画面反而是静止的幻灯片新闻视频里关键事实往往出现在旁白里。如果任务允许把视频的字幕文件或音频转写文本一并送入模型有时候能显著弥补画面抽帧的不足。这个做法不属于帧选择本身但它是帧选择的重要补充当画面信息密度不足时文本信号能帮你兜底。单纯优化帧选择能提升的空间有限时加入文本通道才是真正的瓶颈突破点。7. 排查链路与不同场景的推荐配置7.1 模型输出不对时按这个顺序排查我把自己的排查顺序固定成了五步每次遇到异常都按这个走第一步看抽出的帧关键事件在不在帧里。如果不在问题就是抽帧密度或策略不对。第二步看帧的顺序和时间标记事件是否在正确的时间位置时间偏移和实际抽帧位置是否一致。第三步看输入是否触发截断帧数太多、图片尺寸太大都会导致尾部信息被丢弃。如果模型回答里前半段内容完整、后半段消失优先怀疑截断。第四步看提示词是否明确有没有要求模型“按时间顺序逐帧观察”有没有告诉它每帧的时间位置。第五步才去怀疑模型能力前面的问题都排除后再考虑换模型或换更强的多模态方案。大多数情况下前三步就能定位问题。很多“模型看不懂视频”的结论最后都能追溯回抽帧环节。7.2 不同场景的推荐配置参考下面这张表是我自己跑任务时的初始参考不是通用标准具体参数需要根据你的模型限制和视频内容调整视频场景推荐初始策略帧数参考辅助信号课程录屏 / 会议均匀抽帧16 到 32 帧字幕文本或转写体育 / 动作场景检测 高分帧32 到 64 帧音频事件提示监控回放场景检测 均匀采样16 到 24 帧时间窗口标注新闻 / 短剧场景检测16 帧左右字幕辅助商品展示 / 直播切片均匀抽帧 CLIP 打分8 到 16 帧商品图文描述表格里的帧数只是一个起点。实际操作时先跑小样本按关键事件召回率调整。如果召回率不达标优先提高抽帧密度而不是盲目更换模型。7.3 一些值得提前想清楚的事帧选择这件事越早重视后面省的事越多。它不复杂但需要你愿意花时间看帧、比对结果、调阈值。很多项目走到后期才发现“模型理解能力不够”其实真正的瓶颈早在抽帧那一刻就埋下了。如果你的任务对实时性要求高帧选择还要考虑计算开销。场景检测和 CLIP 打分都会增加处理延迟在实时视频流场景下可能只能用轻量级帧差法或固定均匀抽帧。这种情况下宁可降低帧数也要保证处理链路稳定。如果你的任务是离线批量处理那就可以放心用更复杂的策略先建候选帧池再做场景检测和评分筛选最后送入模型。离线任务的容错空间大可以充分验证不同参数组合的效果。最后留一个建议无论你采用哪种抽帧策略都要把“帧目录 时间戳 抽帧参数”记录在案。它不只是调试材料也是复现结果、排查问题的关键依据。每次实验都保留一份当时的帧样本和参数记录后面优化时你会发现这是最值得的一步。