给 Claude Code 配视频解析卡点从来不在提示词而在它根本读不了视频。Browser Use 团队开源的 Video Use 把录屏拆成音频常驻层加视觉按需层软链接进~/.claude/skills/video-use由 Claude Code 执行。装它之前先解决 Key打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 创建Base URL 填 https://taotoken.net/apiTaoToken 就作为统一兼容通道替 Claude Code 供 Key。这条链路跑起来之后分工其实是清楚的。音频转录仍旧走 ElevenLabs Scribe它负责出词级时间戳、说话人标注和音频事件而 Claude Code 的推理、剪辑点判断以及那套「渲染完自己检查、有问题就回炉」的循环消耗的 Token 都记在 TaoToken 账上。下面按 Video Use 的安装顺序拆一遍重点放在 Skill 软链接、settings.json 三件套以及第 6 步在视频文件夹里跑claude时最容易撞上的几个错。1. Video Use 把录屏拆成两层而不是逐帧喂给 Claude Code1.1 逐帧截图为什么是个 Token 黑洞大部分人第一次让模型「看」视频走的是同一条路用 ffmpeg 按固定间隔抽帧几百张图片丢进对话再补一句「帮我总结一下流程」。这条路在 30 秒的短视频上勉强能跑一旦换成 20 分钟的技术教程录屏问题立刻暴露出来。按每秒 1 帧算20 分钟就是 1200 张图。就算模型支持多图输入上下文也会被图片撑爆更别提画面里的编辑器界面、终端输出、鼠标移动轨迹单帧根本读不出前后因果。真正有价值的信息——某一句讲解说了什么、哪一段是重录的、哪里停顿超过两秒——全藏在音轨的时间轴上不在像素里。Video Use 的出发点就在这里与其让模型在几万帧里自己找线索不如先把视频结构化再按需取用。这个思路和 browser-use 处理网页是一脉相承的——不是把整页截图丢给模型而是先把结构抽出来需要看渲染结果时再截一张。1.2 音频常驻层takes_packed.md 与词级时间戳Video Use 的第一层叫音频常驻层由 ElevenLabs Scribe 接口完成转录。它从整段音轨里产出三类信息词级时间戳、说话人区分、音频事件标注笑声、叹息、明显停顿这类非语言信号。这些内容被压缩打包成一个约 12KB 的takes_packed.md作为 Claude Code 理解视频的主要依据。12KB 是什么概念大概相当于一篇中等长度的技术文章。放进上下文里几乎不占地方但信息密度足够高——整段视频「说了什么、谁说的、在哪一秒说的」全在里面。词级时间戳是后面所有剪辑精度的地基。市面上多数转写工具只给句级时间戳一句 8 秒的话只有一个起点一个终点想切掉句中那个「呃」只能靠猜有了词级时间戳Claude Code 才知道该在哪一毫秒下刀。这也是 Video Use 敢说自己「精准剪辑」的底气。1.3 视觉按需层timeline_view 只在决策点出一张图第二层是视觉按需层。Video Use 不会全程抽帧只在几个关键决策点调用timeline_view动态生成一张复合图上面是胶片缩略条中间是音频波形下面压着单词标签。一张图同时给到画面、声波和文本三个维度的信息。什么算「关键决策点」大致三类。模糊停顿——音频层显示这里有 1.8 秒静默但不确定是口误还是换气需要看一眼画面重录片段比对——同一段话讲了两遍得看画面判断哪一版状态更好剪辑点校验——切完之后检查有没有跳切、字幕有没有挡住人脸。文本为主、视觉为辅一张图顶掉几百帧。两层加起来就是 Claude Code 理解一整段视频的全部输入12KB 文字加少量几张按需生成的图。该省的地方全省下来该看的地方一眼不漏。2. 四个能力面Video Use 在 Claude Code 里到底干什么2.1 智能剪辑口头禅、停顿与 30ms 淡入淡出第一件能立刻感受到的事是它自动切掉口头禅和无效停顿。「呃」「嗯」、重复起句、超过阈值的静默这些在takes_packed.md里都有明确的时间坐标处理起来不需要人工听一遍。细节在于每个剪辑点它会自动补一段 30ms 的音频淡入淡出。硬切波形会产生「啪」的爆音这个坑手动剪过的人都知道但每次都要在音频软件里补一下很烦。Video Use 把它做进了流程里切完直接是干净的。此外还支持自动色彩调级比如电影暖调、中性色调也可以把自定义的 ffmpeg 参数传进去不用再开一遍剪辑软件。2.2 字幕与调色两词大写字幕省掉打轴第二件事是字幕。默认生成两词大写字幕这种节奏在技术演示视频里读起来很舒服——字少、停留短、不挡画面。关键在于它不需要手动打轴。字幕时间来自音频层的词级时间戳转录完成的那一刻字幕的起止时间其实就定了。字号、位置、颜色这些样式可以完全自定义适配不同平台的画面比例。技术教程、项目演示、访谈对谈同一个流程都能覆盖。2.3 project.md 状态持久化与最多 3 次重渲染第三件事是它做完一版会自己检查一遍扫描每个剪辑点有没有画面跳切、字幕有没有遮挡、音频有没有爆音。发现问题就回炉重渲染最多跑 3 次修复循环。这套自检机制是「AI 剪完自己看」不是等用户发现。而且它会话状态会保存进project.md下次打开同一个文件夹继续聊能接上上次的剪辑进度。长视频、系列教程这种跨天做的素材这一点比自动剪辑本身更实用——不用每次从头复述需求。3. 安装 Video Use软链接到 ~/.claude/skills/video-use3.1 git clone 与 pip install -e .安装流程本身不长但有一条命令是成败关键git clone https://github.com/browser-use/video-use cd video-use ln -s $(pwd) ~/.claude/skills/video-use pip install -e .ln -s这一步为什么关键Claude Code 是靠扫描~/.claude/skills/目录来发现技能的Video Use 只有出现在这个目录下会话里才会被识别成可用技能。用软链接而不是复制好处是以后git pull更新代码立刻生效不用重新装一遍。命令里的$(pwd)建议加引号路径里带空格时不容易出错。pip install -e .是开发模式安装装完之后项目源码的改动会即时反映不用重装。如果系统里有多个 Python 环境建议先确认which python和which pip指向同一个。3.2 ffmpeg 必装、yt-dlp 选装brew install ffmpeg brew install yt-dlpffmpeg 是硬依赖切、合、加淡入淡出、调色、重编码都靠它缺了基本跑不动。yt-dlp 只在需要解析在线视频时装本地录屏用不到。Linux 上把brew换成apt或dnf即可Windows 建议用包管理器装并确认 ffmpeg 已经进了 PATH——装完在终端敲一句ffmpeg -version能出版本号才算真的可用。3.3 .env 里的 ELEVENLABS_API_KEY 和 Claude Code 的 Key 是两把cp .env.example .env $EDITOR .env打开后需要填的是 ElevenLabs 的密钥ELEVENLABS_API_KEYYOUR_ELEVENLABS_KEY这里要先分清楚ElevenLabs 的 Key 负责音频转录Claude Code 的 Key 负责推理和决策两者是两套东西不要互相填也不要把 ElevenLabs 的 Key 塞进 Claude Code 配置里。前者在 ElevenLabs 后台拿后者在下面第 4 章处理。4. Claude Code 那把 Key在 settings.json 里指向 TaoToken4.1 在官网创建 Key、顺手抄下模型 ID打开 TaoToken 注册登录进控制台创建 API Key。Key 一般只在创建时完整展示一次复制出来先存进密码管理器别只留在剪贴板里。创建完顺手去模型广场看一眼要用的模型 ID以及对应通道当时是否可用——模型 ID 以广场当时的列表为准别凭印象写。4.2 ~/.claude/settings.json 的 env 三件套Claude Code 读的是~/.claude/settings.json把这三行写进env里{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: YOUR_MODEL_ID } }三个点要盯住。Base URL 写https://taotoken.net/api末尾不要加/v1多写一层路径是最常见的 404 来源。Key 用刚才在官网创建的那把别用 ElevenLabs 的。模型 ID 从模型广场抄别自己拼日期后缀。改完保存重启 Claude Code 会话让它重新读配置。4.3 环境变量写法与 settings.json 二选一如果只是临时切换对比用环境变量更灵活export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_AUTH_TOKENYOUR_API_KEY export ANTHROPIC_MODELYOUR_MODEL_ID持久配置走 settings.json临时实验走环境变量两条路选一条就行。两种同时存在时以配置文件里的值为准的概率更大具体行为跟 Claude Code 的版本有关改完用/status之类的方式确认一下当前生效的 Base URL 和模型比猜更靠谱。这一步做完Video Use 才真正有 Token 可烧。5. 第 6 步cd 进视频文件夹跑 claude指令怎么写5.1 指令模板先要清单再放行渲染原教程第 6 步是在视频所在目录里启动 Claude Codecd /path/to/你的视频文件夹 claude然后在会话里下指令。原文给的例子是「将当前文件夹的视频剪辑成可发布的技术演示视频」这个粒度能跑通但复杂素材容易来回追问。更省事的写法是把约束一次说清只处理当前文件夹里的 *.mp4。 目标剪成一条 6 到 8 分钟的技术演示视频。 要求 1. 切掉所有口头禅和超过 1.2 秒的无效停顿 2. 保留命令行执行的完整片段不要剪断输出 3. 字幕用两词大写居中偏下 4. 开头和结尾各留 0.5 秒黑场 先给我一份剪辑点清单和理由我确认后再渲染。最后那句「先给清单再渲染」很值钱。Video Use 的判断和自检都要消耗 Token先看清单再放行能省掉好几轮无效渲染。清单里它会标出准备切掉的每个时间点和理由觉得不对就直接在会话里改比等渲染完再返工快得多。5.2 自检重渲染循环烧的是哪部分 Token一版做完Video Use 会自己扫一遍剪辑点有没有跳切、字幕有没有挡住关键画面、音频有没有爆音。发现问题就回炉最多 3 次。这里的分工值得再强调一次转录那一步走 ElevenLabs Scribe消耗的是 ElevenLabs 的额度而「看清单、判断该不该切、检查渲染结果」这些推理动作全部由 Claude Code 完成Token 记在 TaoToken 这边。一次跑满 3 轮自检等于同一段素材的决策过程被反复推理了三遍这也是长视频处理起来消耗比预期高的主要原因。想控制成本最直接的办法就是在 5.1 那步把清单确认做扎实减少回炉次数。6. 验证与排障401、模型 ID、多写的 /v16.1 配置写完后先做一次最小验证别一上来就丢 20 分钟素材。先单独测 Key在 TaoToken 模型对话 里用同一把 Key 发一条消息能正常回就说明 Key 和模型 ID 没问题。这一步把「配置错」和「Video Use 用错」两类问题隔离开。再回终端跑最小的 Claude Code 验证claude -p 只回复两个字通了有回复说明 Base URL、Key、模型都对上了。这时候再 cd 进视频文件夹跑完整流程出错的范围就小很多。6.2 高频错误对照现象大概率原因怎么改401 / authentication_errorKey 没复制完整或配置里还是旧 Key重新生成并替换model not found模型 ID 拼错或广场里当时没有这个名字去模型广场抄当前可用的 ID404 / not foundBase URL 末尾多写了/v1改回 https://taotoken.net/apiclaude: command not foundClaude Code 本体没装先装 Claude Code再谈 Skill会话里完全不提 Video Use~/.claude/skills/video-use软链接断了重新执行ln -s或问它当前有哪些技能401 这一类多数是复制 Key 时少了一段或者改完配置没有重启会话。回到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 的控制台重新生成一把替换后再测一次比反复猜快。6.3 分开看两边的用量ElevenLabs 的额度在 ElevenLabs 后台看TaoToken 这边的调用在控制台看两个数不要混成一本账。音频转录用得凶不代表 Claude Code 这边也烧得多反过来自检循环跑了好几轮Token 消耗涨上去也不该去 ElevenLabs 那边找原因。分清楚哪个环节在花钱调优方向才明确。7. 把这套 Skill 用顺手的几个建议7.1 长视频分段、素材命名与 project.md 接续超过 30 分钟的素材建议按主题先切成几段再喂一段一段确认剪辑点最后合并。这样每段都在可控的推理轮次内完成自检回炉的成本也低。素材命名尽量用英文加日期避免中文空格混排——ln -s和 ffmpeg 处理路径时的容错没那么多。系列教程交给project.md接续时保持同一个文件夹结构下次直接 cd 进去开claude就能接着上次的进度聊不用重新解释背景。另外要有个预期Video Use 现在处于早期开源阶段复杂场景可能需要多轮对话才能把需求说清。指令越具体——保留什么片段、字幕什么样式、切点判断标准是什么——输出越接近想要的结果来回拉扯的次数也越少。7.2 下一步把这把 Key 的账对一下跑通之后想确认这次 Video Use 的推理调用有没有记上账先开 模型对话 用同一把 Key 发条消息交叉验证打算长期拿它处理长视频和系列教程去 Coding Plan 看看套餐额度够不够用需要新 Key 或者换一把在 控制台 API Keys 创建settings.json和环境变量的完整字段对着 Claude Code 接入文档 抄一遍最稳。