AI视频剪辑新范式：用自然语言指令驱动自动化剪辑工作流

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度

如果你还在用传统剪辑软件，一帧一帧地剪掉“嗯”、“啊”这些口头禅，或者为了给视频加个字幕、调个色而反复点击鼠标，那么你很可能正在浪费大量时间。视频剪辑，尤其是内容创作中的粗剪和精修，本质上是一个高度重复、规则明确但极其繁琐的“体力活”。有没有一种方法，能让我们像写代码一样，用自然语言描述意图，然后让 AI 自动完成剪辑？

答案是肯定的，而且它已经来了。browser-use/video-use这个在 GitHub 上斩获 13k+ Star 的开源项目，正在用一种颠覆性的方式回答这个问题。它不是一个带图形界面的 AI 剪辑工具，而是一个为 Claude Code 等编程智能体（Coding Agent）设计的“视频编辑技能包”。

简单来说，它的工作流是这样的：你把一堆原始视频素材扔进一个文件夹，然后在 Claude Code 的聊天窗口里输入一句“帮我把这些剪成一个发布视频”，它就会自动完成转录、去冗余、调色、加字幕、加转场、自我审查等一系列操作，最终生成一个final.mp4文件。整个过程，你不需要打开任何剪辑软件。

这听起来很美好，但背后隐藏着几个关键问题：AI 真的能理解视频内容吗？它剪辑的“品味”如何？会不会把重要的内容剪掉？安装和使用门槛高不高？这篇文章，我将为你彻底拆解video-use，从核心原理、环境搭建、实战演示到避坑指南，提供一个完整的、可落地的操作手册。你会发现，AI 代理剪辑不是未来，而是现在就能提升你效率的利器。

1. 这篇文章真正要解决的问题：告别重复劳动，用对话驱动视频生产

在深入代码之前，我们首先要明确video-use解决的核心痛点是什么。它不是要取代专业的影视后期工作者，而是瞄准了以下三类高频场景：

1. 知识创作者与讲师：录制课程、产品演示、技术分享时，难免有口误、停顿和重复。手动剪辑这些部分耗时极长。
2. 自媒体运营者：需要快速将长直播、访谈剪辑成短视频，并添加统一的字幕样式和品牌色调。
3. 开发者和极客：希望用程序化、可复现的方式处理视频素材，例如为每次产品更新自动生成演示视频。

传统工作流是：录制 → 导入软件 → 听录音找片段 → 切割 → 调整 → 渲染。video-use将其重构为：录制 → 丢进文件夹 → 对 AI 说需求 → 等待成品。其革命性在于，它将剪辑从“手动操作”变成了“意图描述与验收”。

然而，实现这一点面临两大技术挑战：

• 信息密度：视频是海量帧序列，直接喂给 LLM（大语言模型）成本极高且低效。
• 理解精度：AI 如何精确到“词”级别进行剪切，并保证画面和声音的连贯性？

video-use的巧妙设计正是为了解决这些问题。它不追求让 AI“看”懂每一帧画面，而是让它“读”懂视频。接下来，我们就剖析它的核心工作原理。

2. 核心原理：当 AI 不再“看”视频，而是“读”视频

video-use官网有一句非常关键的话：“The LLM never watches the video. It reads it.”这是理解其所有设计的基石。

试想一下，如果让 Claude 处理一个 5 分钟的视频（每秒30帧），那就是 9000 张图片。即使经过压缩，其 token 数量也是天文数字，成本高昂且充斥着大量无用信息（如静态背景）。video-use采用了一种更聪明的分层信息提取策略：

2.1 第一层：音频转录文本（核心数据源）

这是 AI 理解视频内容的“剧本”。video-use调用ElevenLabs 的 Scribe API对每个视频源进行语音转写。关键不在于转文字，而在于它提供了：

• 词级时间戳：每个单词在视频中出现的精确起止时间。
• 说话人分离：区分不同讲话者（S0, S1）。
• 非语音事件标记：如(laughter),(applause),(sigh)。

所有这些信息被压缩成一个约 12KB 的takes_packed.md文本文件。LLM 通过阅读这个文件，就能完全掌握“谁在什么时候说了什么”，并据此决定在哪里下刀剪切。例如，它很容易识别出“um”、“uh”这类填充词并将其剔除。

## C0103 (duration: 43.0s, 8 phrases) [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted. [006.08-006.74] S0 We fixed this.

2.2 第二层：按需生成的视觉摘要（辅助决策）

仅靠文本无法处理所有情况，比如：两个相似的片段该选哪个？某个停顿是意味深长还是冗余？这时，video-use会动态调用timeline_view函数，生成一个合成图，包含：

• 关键帧胶片条：选取时间点前后的几帧画面。
• 音频波形图：直观显示音量大小和静音区间。
• 文本标签：对应时间点的台词。

这个 PNG 图片只在 LLM 需要做视觉判断时（如比较镜头、检查剪切点是否突兀）才生成，极大地节省了 token 消耗。

“文本为主，视觉为辅”的设计，与browser-use项目让 AI 操作浏览器时提供结构化 DOM 而非截图的思路一脉相承，都是将高维、冗余的媒体信息转化为 LLM 擅长处理的低维、结构化数据。

2.3 完整工作流与自我评估循环

video-use的执行管道是一个严谨的工程闭环：

转录 (Transcribe) → 打包 (Pack) → LLM 推理 (Reasons) → 生成编辑决策列表 (EDL) → 渲染 (Render) → 自我评估 (Self-Eval) ↑ └─ 发现问题？ -> 修复并重新渲染（最多3次）

自我评估（Self-Eval）是保证成品质量的关键一步。在每次剪切点，AI 会再次生成timeline_view来检查渲染后的输出，确保没有画面跳跃、音频爆音或字幕错误。只有通过检查，最终的final.mp4才会呈现给你。这相当于一个内置的 QA 环节。

理解了这些，你就会明白video-use不是一个“黑盒魔法”，而是一个设计精巧、将 LLM 能力与专业音视频工具（ffmpeg）结合的系统工程。接下来，我们看看如何亲手搭建这个系统。

3. 环境准备与安装指南

在开始之前，请确保你已满足以下基础条件，并理解整个系统的组成部分：

核心组件关系图：

你 (用户) <-> Claude Code (AI 代理) <-> video-use (技能/Skill) <-> ffmpeg/ElevenLabs API (工具)

• Claude Code：作为“大脑”，负责理解你的指令、调用技能、执行逻辑。
• video-use：作为“技能包”，提供具体的视频编辑函数和流程。
• ffmpeg：作为“双手”，执行所有实际的视频、音频处理命令。
• ElevenLabs API：作为“耳朵”，提供高精度的语音转写服务。

3.1 前置条件检查清单

在安装video-use之前，你需要准备好以下几样东西：

3.2 两种安装方式：一键提示词 vs 手动安装

video-use提供了极其便捷的安装方式——直接给 Claude Code 一段提示词。

方式一：推荐的一键安装（通过提示词）这是最省心的方式。你只需要在启动 Claude Code 后，将以下提示词完整粘贴给它：

Set up https://github.com/browser-use/video-use for me. Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

AI 代理会自动完成以下所有步骤：

1. 克隆video-use仓库到本地。
2. 安装 Python 依赖（使用uv sync或pip）。
3. 检查并提示你安装ffmpeg。
4. 将video-use软链接到 Claude Code 的技能目录（如~/.claude/skills/）。
5. 提示你输入 ElevenLabs API Key 并保存到.env文件。

方式二：手动安装（适用于喜欢掌控过程的用户）如果你希望了解细节，或遇到一键安装问题，可以手动执行以下命令：

# 1. 克隆仓库并创建软链接 git clone https://github.com/browser-use/video-use ~/Developer/video-use # 为 Claude Code 创建技能链接（假设 Claude Code 技能目录在 ~/.claude/skills/） ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # 2. 进入目录并安装依赖 cd ~/Developer/video-use uv sync # 推荐使用 uv，速度更快。或者使用 pip install -e . # 3. 配置 ElevenLabs API Key cp .env.example .env # 使用你喜欢的编辑器打开 .env 文件，填入你的 API Key # 例如：ELEVENLABS_API_KEY=sk_your_actual_api_key_here

安装验证：安装完成后，在 Claude Code 中，你可以尝试询问：“video-use技能安装好了吗？” 或者 “列出可用的技能”。如果安装成功，Claude Code 应该能识别到video-use技能。

4. 核心工作流实战：从原始素材到成片

假设你已经安装成功，并且有一个文件夹~/Videos/my_project，里面存放着几个未经剪辑的.mp4文件。接下来，我们将体验完整的 AI 剪辑流程。

4.1 第一步：启动代理并导航到素材目录

在终端中，进入你的素材文件夹，并启动 Claude Code。

cd ~/Videos/my_project claude # 启动 Claude Code 代理

启动后，你将进入与 Claude Code 的对话界面。

4.2 第二步：发出剪辑指令

这是最核心的一步——用自然语言描述你的需求。指令可以非常简洁，也可以包含一些风格要求。

基础指令：

edit these into a launch video.

（把这些剪成一个发布视频。）

带风格要求的指令：

Edit these interview clips into a 2-minute highlight reel. Use a warm cinematic color grade and burn in uppercase subtitles.

（将这些采访片段剪辑成一个2分钟的高光集锦。使用温暖的电影感调色，并烧录大写字母字幕。）

指令发出后，AI 会开始工作，并通常经历以下几个阶段：

1. 清单与策略：AI 会先扫描文件夹内的视频文件，列出清单，并基于你的指令（如“发布视频”、“高光集锦”）提出一个剪辑策略。例如：“我将优先选择表达清晰的片段，剪掉重复和冗长的部分，并确保节奏紧凑。”
2. 请求确认：AI 会展示它计划如何操作，并等待你的“OK”确认。这是一个重要的交互节点，让你有机会在它执行前调整方向。
3. 执行与自我评估：获得确认后，AI 开始自动化流程：转录、剪切、调色、加字幕、渲染、自我检查。这个过程可能需要一些时间，取决于视频的长度和复杂度。
4. 输出结果：所有处理完成的文件将输出到素材目录下的edit/子文件夹中。最重要的成品就是edit/final.mp4。

4.3 第三步：验收与迭代

生成final.mp4后，你可以直接观看。如果不满意，你可以基于结果给出更具体的反馈，开启新一轮的迭代。

The intro is too slow. Can you make the first 10 seconds faster paced?

（开头太慢了，能把前10秒的节奏加快吗？）

因为video-use会持久化会话记忆（保存在project.md），AI 能记住之前的剪辑上下文，从而进行增量修改。

5. 核心功能与配置深度解析

video-use的强大不仅在于自动化，更在于其高度可定制性。它内置了一系列生产级规则和可配置项。

5.1 内置的自动化处理项

根据官方介绍，开箱即用的功能包括：

• 智能剪切：自动移除填充词（umm, uh）、错误开头和镜头间的死区。
• 自动调色：为每个片段应用色彩校正。预设风格包括“温暖电影感”、“中性突出”等，也支持自定义 ffmpeg 滤镜链。
• 音频优化：在每个剪切点添加 30ms 的音频淡入淡出，消除爆音。
• 字幕烧录：生成并烧录硬字幕。默认样式是两词一组的大写块，视觉上非常像专业的 YouTube 技术博主风格。样式完全可定制。
• 动画叠加：可以并行调用子代理，使用 HyperFrames、Remotion、Manim 或 PIL 生成动态图形叠加层。
• 会话持久化：所有编辑决策和状态保存在project.md，下次打开项目可以继续编辑。

5.2 关键配置文件与自定义

大部分核心配置和行为由video-use技能目录下的脚本和文件控制。了解它们有助于高级定制。

1..env文件：这是最重要的配置文件，主要用于设置 API Key。

# .env 文件示例 ELEVENLABS_API_KEY=sk_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # 未来可能添加其他服务的 API Key

2.helpers/目录：这里是所有编辑脚本的“引擎室”。根据 README 提示，日常使用前应阅读此目录下的文件。例如，你可以找到控制字幕样式、调色参数、转场逻辑的 Python 脚本。

3. 自定义调色与字幕：如果你想修改默认的调色风格或字幕样式，需要深入研究helpers/下的脚本。例如，你可能找到类似apply_color_grade()的函数，其中定义了 ffmpeg 滤镜链。修改这些滤镜参数，就能改变视频的视觉效果。

# 假设在 helpers/color.py 中找到一个滤镜链（示例） color_filter_chain = [ "colorbalance=rs=0.05:gs=0:bs=-0.05", # 微调阴影红色，高光蓝色 "curves=preset=strong_contrast", # 提高对比度 "unsharp=5:5:0.5" # 轻微锐化 ] # 你可以将其替换为你喜欢的 ffmpeg 滤镜表达式。

4. 技能注册与调用：video-use通过软链接的方式将自己注册为 Claude Code 的一个技能（Skill）。这意味着 Claude Code 在启动时会加载这个技能，从而获得edit these into a ... video这类指令的处理能力。技能的具体定义通常在__init__.py或skill.py文件中。

6. 项目结构分析与代码导读

为了更深入地理解video-use，我们有必要浏览一下其项目结构。这能帮助我们在出现问题时进行调试，或进行二次开发。

video-use/ ├── helpers/ # 核心工具函数目录 │ ├── __init__.py │ ├── audio.py # 音频处理相关（淡入淡出等） │ ├── color.py # 调色相关函数 │ ├── edit.py # 编辑决策列表（EDL）生成与处理 │ ├── render.py # 调用 ffmpeg 进行渲染 │ ├── subtitle.py # 字幕生成与烧录 │ ├── timeline.py # 生成 timeline_view 可视化摘要 │ ├── transcribe.py # 调用 ElevenLabs API 进行转录 │ └── validate.py # 自我评估逻辑 ├── skills/ │ └── manim-video/ # 用于生成 Manim 动画叠加的子技能 ├── static/ # 静态资源（如图片、字体） ├── .env.example # 环境变量示例文件 ├── install.md # 安装说明 ├── SKILL.md # 技能使用详细手册 ├── pyproject.toml # Python 项目依赖声明 └── README.md # 项目总览

关键文件解读：

• helpers/transcribe.py：这是与 ElevenLabs API 交互的核心。如果转录失败，首先检查这里的 API 调用和错误处理。
• helpers/edit.py：LLM 生成的剪辑策略会在这里被转换成具体的编辑决策列表，这是一个时间线标记列表，指示哪些片段需要保留、按什么顺序拼接。
• helpers/render.py：这是与ffmpeg交互的桥梁。它将 EDL 转化为一系列ffmpeg命令并执行。所有视频合成的魔法都在这里发生。
• SKILL.md：这个文件包含了video-use的“12条硬性规则”和编辑理念，是理解其剪辑逻辑的必读文档。它规定了诸如“绝不切断一个单词”、“在所有剪切点应用音频交叉淡化”等保证基础质量的原则。

7. 常见问题与故障排查 (Q&A)

在实际使用中，你可能会遇到一些问题。以下是一个常见问题排查清单：

8. 最佳实践与高级技巧

掌握了基础操作和排错方法后，以下建议能帮助你更高效、更稳定地使用video-use：

1. 素材预处理：

   • 命名规范：给原始视频文件起一个清晰的名字（如01_intro.mp4,02_demo.mp4），有助于 AI 理解内容顺序。
   • 格式统一：尽量使用ffmpeg兼容性好的格式，如.mp4(H.264/AAC)。避免使用过于特殊或专业的编码。
   • 音频质量：清晰的音频是高质量转录的前提。如果环境嘈杂，可先尝试用其他工具进行降噪。

2. 指令的艺术：

   • 从简到繁：先尝试“edit these into a video”这种简单指令，看基础效果。再逐步增加“节奏更快”、“添加激昂的背景音乐”（需额外技能）等复杂要求。
   • 提供上下文：如果素材是特定主题（如“Python 教程第三章”），可以在指令中说明，帮助 AI 更好地选择关键片段。
   • 分阶段进行：对于非常长的项目，可以先用video-use完成粗剪和去冗余，生成一个较短的版本，再导入专业软件进行精细调整。

3. 项目管理：

   • 善用project.md：这个文件记录了所有编辑决策。如果你对某次修改不满意，可以在这里找到线索，或者直接手动微调这个文件（需要一定技术背景）。
   • 输出目录：所有生成文件都在edit/目录下。每次新的编辑会话前，可以备份或清空此目录，避免文件混乱。

4. 成本控制：

   • ElevenLabs 费用：转录按音频时长计费。对于长视频，这是一笔主要成本。密切关注 ElevenLabs 的用量统计。
   • 本地渲染：ffmpeg渲染消耗本地 CPU/GPU 资源，但无额外费用。处理高分辨率视频时注意散热。

5. 与其他工具集成：

   • video-use的核心优势是自动化流水线。你可以将其作为工作流的一环。例如，用yt-dlp（已列为可选依赖）下载在线视频，然后用video-use自动剪辑，最后用脚本上传到平台。

9. 总结：它适合谁，不适合谁？

经过以上全方位的拆解，我们可以对browser-use/video-use做一个清晰的定位。

它非常适合：

• 内容创作者：需要快速处理口播视频、播客、课程录像，去除口癖和空白。
• 效率追求者：厌倦了在时间轴上重复性点击，希望用描述性指令替代手动操作。
• 开发者与极客：享受用代码和自动化工具解决问题的乐趣，愿意接受命令行和调试。
• 探索 AI 应用边界的人：想亲眼看看 LLM 如何与专业工具结合，解决复杂媒体任务。

它可能不适合：

• 追求绝对精细控制的专业剪辑师：电影、广告等需要帧级精度和复杂特效的项目，目前仍需 DaVinci Resolve、Premiere 等专业工具。
• 完全零技术背景的用户：需要安装 Python、ffmpeg、配置 API Key，并在命令行中与 AI 交互，有一定门槛。
• 处理纯音乐视频或抽象艺术视频：其核心逻辑基于语音转录，对缺乏清晰语音的内容处理能力有限。

核心价值再审视：video-use带来的最大变革，是将视频编辑从“操作界面”的范式转向了“描述意图”的范式。你不再需要学习某个软件复杂的菜单和快捷键，而是学习如何向 AI 清晰地表达你的创意需求。它降低了“剪辑”这件事的操作门槛，但提高了“沟通”和“验收”的门槛。

它的出现，标志着 AI 智能体（Agent）正从简单的代码生成、文本处理，向更复杂的、多模态的创意生产领域迈进。虽然今天它可能还无法处理最顶级的商业项目，但它已经能切实地节省我们处理日常视频内容时 80% 的重复性时间。

如果你正好有大量的口播视频需要处理，或者对 AI 代理的自动化能力感到好奇，那么现在就是尝试video-use的最佳时机。从克隆仓库到生成第一个 AI 剪辑的视频，整个过程可能只需要一杯咖啡的时间。而它为你打开的，可能是一扇通往全新工作方式的大门。

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度