从"想要伴奏"到"写出伴奏"：Audacity 本地 AI 音频套件完整上手手册

【免费下载链接】openvino-plugins-ai-audacityA set of AI-enabled effects, generators, and analyzers for Audacity®.项目地址: https://gitcode.com/gh_mirrors/op/openvino-plugins-ai-audacity

你有没有过这样的时刻：听到一首歌，特别想做它的伴奏版本，方便自己翻唱或者做混剪视频。于是你打开搜索引擎，找到的"伴奏提取工具"要么收费，要么要求你把歌曲上传到别人的服务器——歌还没导出，版权和隐私的顾虑先涌上心头。如果你再用过 Audacity（这款免费开源的音频编辑软件），你大概还会补一句："如果它自带 AI 功能就好了。"

现在，这个"如果"变成了现实。OpenVINO AI Plugins for Audacity是一套专门为 Audacity 打造的开源 AI 插件，它把音乐分离、智能降噪、语音转文字、AI 音乐生成、音频超分辨率五类能力全部集成进 Audacity 的菜单里，而且所有计算都在你本地电脑上完成——不需要联网，不需要注册账号，音频文件从头到尾不会离开你的硬盘。它的推理引擎 OpenVINO 会自动调用你电脑上的 CPU、GPU 甚至 NPU 来加速，性能好坏取决于你的硬件，而不是你的钱包。

接下来这篇文章，就是一份"照着做就能跑通"的实战手册。我会带你从零开始：先三分钟把它装进 Audacity，再亲手完成一次歌曲伴奏提取，然后把其余四个功能逐个玩透，最后帮你避开那些新手最容易踩的坑。全程不堆源码，只讲"你该点什么、为什么这么点"。

动手之前，先弄懂两件事

在开始操作前，有两个概念值得先花三十秒了解，因为它们会反复出现在后面的章节里。

第一件事：插件本身和 AI 模型是两回事。插件是那套让你能在菜单里看到"OpenVINO Music Separation"这类条目的代码；而真正干活的"大脑"是 AI 模型文件，体积通常有 2~3GB，需要单独下载。插件启动时去硬盘里找模型，找到就加载，找不到就提示你安装。所以如果你装完插件发现菜单里没有 AI 功能，八成是模型没装全，别急着怀疑安装步骤出了问题。

第二件事：第一次运行会比较慢，这是正常的。当你第一次点击"应用"时，插件要把模型针对你选定的设备（CPU 或 GPU）做一次编译优化，屏幕上会弹出带进度条的加载窗口，耗时通常在 10~30 秒。这个编译结果会被缓存到磁盘，下次再跑就是秒级加载。所以别被第一次的进度条吓到，它更像是一次性的"热身"。

三分钟上手：把插件装进 Audacity

Windows 用户：三步完成

第一步，把项目源码克隆到本地：

git clone https://gitcode.com/gh_mirrors/op/openvino-plugins-ai-audacity

第二步，找到你的 Audacity 安装目录下的Plug-Ins文件夹（默认路径是C:\Program Files\Audacity\Plug-Ins\），把克隆下来的仓库里mod-openvino目录下编译好的mod-openvino.dll复制进去。

第三步，启动 Audacity，进入编辑 → 偏好设置 → 模块，在模块列表里找到mod-openvino，把它的状态从"新建"改为"已启用"，然后完全关闭并重新打开 Audacity。重启后，AI 功能就会出现在菜单里了。

图注：在 Audacity 偏好设置的"模块"页里，把 mod-openvino 状态改为"已启用"再重启，AI 功能才会生效

Linux 用户：一条命令解决

如果你用的是支持 snap 的 Linux 发行版，事情更简单——Audacity 的 snap 版本已经内置了 OpenVINO 模块支持：

sudo snap install audacity

装好后，再执行一次模型下载命令，把 AI 模型拉取到本地：

sudo audacity.fetch-models --batch

如果你是 N 卡或 Intel 显卡用户，想启用 GPU 或 NPU 加速，还需要把自己加入render用户组，并安装intel-npu-driversnap 包：

sudo usermod -a -G render $USER sudo snap install intel-npu-driver

改完用户组后记得注销再重新登录一次，让配置生效。

第一次实战：给一首歌提取伴奏

装好插件后，我们来做一件最有成就感的事：把一首歌的人声和伴奏分开。这是音乐分离（Music Separation）功能，也是整个套件里最容易立刻见效的一项。

操作路径

1. 在 Audacity 里打开你的歌曲文件（推荐 WAV 或 FLAC 这类无损格式，效果最好）。
2. 用鼠标在波形上拖选出一段要处理的区域。不选也可以，默认会处理整个音轨。
3. 点击顶部菜单效果 → OpenVINO AI Effects → OpenVINO Music Separation。

图注：音乐分离入口藏在"效果 → OpenVINO AI Effects"子菜单里，和其他 Audacity 自带效果并列

关键参数怎么选

弹出的设置窗口里有几个选项，新手只需要关心前两个：

• 分离模式（Separation Mode）：2-Stem会生成两条新音轨（伴奏 + 人声），适合做卡拉 OK 伴奏；4-Stem会生成四条（鼓、贝斯、人声、其他乐器），适合想单独抠出某个声部的情况。
• 推理设备（OpenVINO Inference Device）：默认是 CPU，如果你有独立显卡，改成 GPU 通常能让处理速度提升好几倍。

图注：分离模式选"4-Stem"，推理设备选 GPU，点击应用即可开始处理

设置好之后点击"应用"，进度窗口会先显示模型加载进度。处理完成后，Audacity 工作区里会自动多出几条新音轨，名字以"-Drums"、"-Bass"、"-Vocals"等后缀区分，一眼就能认出哪条是什么。

图注：原曲上方自动生成了鼓、贝斯、其他乐器、人声四条独立音轨，原轨会被静音以便试听效果

避坑提示

• 第一次点击应用后弹出来的"加载模型"窗口可能要等几十秒，别把它当成卡死，这是模型在编译。
• 想快速试效果时，先选一小段 10~20 秒的音频跑一次，确认效果满意再处理整首歌，能省不少时间。
• 如果你的音频本身质量很差（比如是压缩过的 MP3 转来的），分离效果会打折扣，这是数据本身的限制，不是插件的问题。

进阶技巧

设置窗口勾选"高级（Advanced）"后，会出现一个Shifts参数。它控制模型对同一段音频进行多少次随机位移采样再综合结果——数值越高，分离质量理论上越好，但处理时间会按倍数增加。追求极致效果时可以调到 3~4，日常使用默认值就够了。

任务一：清除录音里的环境杂音

场景：你录了一期播客，空调嗡嗡响、键盘咔咔响，人声倒是清楚，就是背景太"热闹"。这时候轮到降噪功能登场。

在 Audacity 里选中一段带噪音的语音区域，进入效果 → OpenVINO AI Effects → OpenVINO Noise Suppression。设置窗口里有一个关键下拉框——降噪模型（Noise Suppression Model），三种模型各有分工：

选好模型点击"应用"即可。这个效果会直接修改你选中的音轨，不会另起新轨，所以建议先在音频副本上试一次，满意了再应用到原轨。

避坑提示：降噪的目标是"只留人声"，如果你选中了包含音乐或环境音的段落，模型可能会把背景声音当成噪音一起削掉，导致声音发闷。处理前尽量把选区限制在纯语音段落上。

进阶技巧：DeepFilterNet 系列提供了多种设备选择，如果你的电脑支持 NPU（比如 Intel 的 AI 加速硬件），把推理设备选成 NPU，降噪时 CPU 和 GPU 就能空出来干别的活，多任务场景下体感提升很明显。

任务二：把会议录音变成逐字稿

场景：你刚开完一场 40 分钟的会议，不想回听录音，只想快速拿到文字稿。语音转文字（Whisper Transcription）功能就是为这个场景准备的，它基于 whisper.cpp 实现，支持 70 多种语言的转录和翻译。

操作路径：选中录音中的语音区域，进入分析 → OpenVINO Whisper Transcription（注意它在"分析"菜单下，不在"效果"里）。

设置窗口里最值得关注的是这几个选项：

• Whisper Model：base最快但准确率一般，small是速度和准确率的平衡，medium和large更慢但更准。中文内容建议至少选small，重要内容选large。
• 模式（Mode）：transcribe输出与源语言相同语言的文字；translate会把任何语言都翻译成英文输出。
• 源语言（Source Language）：默认auto自动检测，如果你确定录音是中文，可以手动指定，准确率会更高。

图注：转写结果以标签轨道的形式生成，每句文本都与音频波形精确对齐，点击标签就能跳到对应时间点

转写完成后，Audacity 里会新增一条标签轨道，每一段文字都有精确的时间戳，点击任意标签即可跳转到对应位置——对照文字检查录音，再也不用来回拖动进度条了。

进阶技巧：设置窗口勾选"高级"后，会多出一个初始提示（Initial Prompt）输入框。把会议里常出现的人名、专业术语填进去，能显著提升转写准确率。另外，如果你下载了small.en-tdrz这个特殊模型，它支持实验性的说话人分离——当检测到说话人切换时，文字会交替写入两条标签轨道，自动区分是谁在发言。

任务三：用一句话"写"出一段背景音乐

场景：你的视频缺一段背景音乐，但你没有作曲经验，也没预算买素材。AI 音乐生成功能让你直接用文字描述来创作音乐，它是整个套件里最有"魔法感"的一个。

操作路径：点击顶部菜单生成 → OpenVINO Music Generation（它在"生成"菜单下）。在设置窗口里输入一段文字描述，比如：

• "轻快的钢琴曲，适合旅行 Vlog"
• "节奏感强的电子舞曲"
• "舒缓的爵士乐，咖啡馆氛围"

再把**时长（Duration）**设为 10~15 秒，点击"生成"。稍等片刻，一段全新的音乐就会出现在音轨上，并且这段音频会被自动打上标签，记录生成它的完整参数（种子、模型、设备等）——这意味着你随时可以复现它。

值得花点时间理解的参数有三个：

• Seed（种子）：留空时每次生成结果都不同；填上固定数字，则同样参数下永远生成同样的音乐。实验时留空，找到满意的就记下种子，方便"复制粘贴"这份惊喜。
• Guidance Scale：数值越高，生成结果越贴近你的文字描述，但过高会损伤音质，建议在 2~4 之间调节。
• TopK：控制生成结果的"随机性"。想要结构工整的音乐选低值（如 50），想要实验性的、更天马行空的效果选高值（如 250）。

进阶技巧：让音乐"接着写"。生成 5 秒片段满意后，把播放光标放到这段音频的结尾，再次打开音乐生成，插件会自动勾选"音频延续（Audio Continuation）"选项——它会以这段音频作为上下文，继续生成后续部分。这样你就能像搭积木一样，一小段一小段地把一首完整的曲子"续"出来。如果某段生成的音乐突然走样（比如淡出成噪音），删掉那部分，从上一段结尾重新续写就行。

任务四：给老录音"补妆"——音频超分辨率

场景：你翻出一段 30 年前的磁带录音，人声闷闷的，高频细节几乎全丢了。音频超分辨率（Super Resolution）功能能把低质量的音频"脑补"出缺失的细节，输出为 48kHz 采样率、24kHz 带宽的音频。

操作路径：选中要修复的音频段，进入效果 → OpenVINO AI Effects → OpenVINO Super Resolution。

两个关键选择：

• 模型（Model）：Basic (General)适合音乐和环境音，Speech专为纯语音优化。拿不准就先试 General。
• 归一化输出 RMS（Normalize Output RMS）：勾选后输出音频的音量会与输入保持一致，避免处理后音量突变，建议默认勾选。

进阶技巧：勾选"高级"后可以调整**块大小（Chunk Size）**和Steps。处理语音时把块大小从 10.24 秒降到 5.12 秒，某些情况下效果更好；Steps 越高，增强质量越好，但耗时也越长——先用默认值跑一遍，不满意再逐步调高。

一台电脑能跑出多大差距：设备与模型对比

很多新手纠结"我的电脑能不能跑"。答案很简单：能跑，但设备决定快慢。下面这张表总结了不同选择对实际体验的影响，你可以对照自己的硬件做取舍：

需要特别说明的是：设备只影响速度，不影响最终音质。CPU 和 GPU 跑出来的结果在质量上没有差别，GPU 的意义只是让你不用等那么久。真正影响质量的是模型本身——比如音乐生成里 fp16 模型普遍优于 int8 模型，转写里 large 模型准确率高于 base 模型。

至于电脑配置门槛，最低要求是 4GB 内存和 5GB 可用磁盘空间（模型文件占大头）。普通办公电脑完全能跑，有独显只是锦上添花。

踩坑实录：新手最常遇到的五个问题

这一节我把新手最常问的问题，还原成真实的"事故现场"来讲，每个都带起因和解决办法。

坑一：装完插件，菜单里找不到 AI 功能

事故现场："我把 dll 复制进去了，重启了 Audacity 三次，菜单里啥都没有。"

原因：最常见的两种——一是模块没有在偏好设置里启用（编辑 → 偏好设置 → 模块，把 mod-openvino 改为"已启用"）；二是mod-openvino.dll放错了目录，Plug-Ins文件夹要在 Audacity 的安装根目录下，而不是用户数据目录下。排查顺序：先确认模块状态是"已启用"，再确认 dll 位置，最后确认完全重启了程序（不是关窗口，是退出进程后重新打开）。

坑二：第一次处理特别慢，是不是坏了？

事故现场："点了应用，弹出个进度条，等了一分钟还没动静，我直接取消了。"

原因：那是模型在针对你的设备做首次编译，10~30 秒是正常范围。编译结果会缓存到磁盘，第二次就快了。判断标准是看进度条有没有在走——走就是正常，一直不动才需要担心。另外，第一次运行前如果模型文件还没下载完整，也会卡在加载阶段，先去检查openvino-models目录是否完整。

坑三：处理大文件时提示内存不足

事故现场："一首 40 分钟的歌，分离到一半 Audacity 直接崩了。"

原因：AI 模型 + 长音频 + 多轨道的组合，内存压力确实大。解决办法是分割处理：先把长音频切成 5~10 分钟的片段，分别跑完再拼接。处理前关掉浏览器等其他占内存的程序，也能明显降低崩溃概率。如果碎片化分割后效果衔接不自然，可以给相邻片段留 1~2 秒重叠区域，处理后再手动修剪。

坑四：生成的音乐"跑偏"了

事故现场："我写的是'轻快的钢琴曲'，结果后半段变成了噪音。"

原因：这是生成模型的正常现象，音乐生成偶尔会淡出成静音或转入奇怪的噪声。不用重头再来——删掉走样的部分，把光标放在前面"正常"的音频结尾，用音频延续功能从那里接着写，多试几次总能得到满意的结果。这也解释了为什么建议先用短时长（5 秒）实验：成本低，试错快。

坑五：转写出来全是"嗯嗯啊啊"，准确率太低

事故现场："转写了一段中文访谈，结果出来一堆错别字。"

原因：大概率是你用了 base 模型。中文内容本身对模型大小更敏感，建议至少用small，重要内容直接上large。同时把源语言手动指定为中文，并在高级选项的初始提示里填上人名和专业术语——这三个操作合起来，准确率往往能上一个台阶。

更进一步：从"会用"到"玩透"

当你把上面几个功能都跑顺了，可以试着往这几个方向再走一步：

• 组合使用：先降噪，再转写，你会发现转写准确率明显提升——降噪后的干净人声对 Whisper 更友好。先分离伴奏，再对伴奏做超分辨率，老歌也能有"高清重制"的味道。AI 功能之间是可以互相配合的。
• 读懂参数背后的原理：种子、引导系数、TopK 这些词并不神秘，玩熟了之后，你可以把"生成参数"当成"作曲公式"来收藏——同一条公式 + 不同描述词，就是不同的曲风。
• 翻翻官方文档：想了解每个功能更详细的参数说明，可以看项目里的功能文档目录 doc/feature_doc/，每个功能一个子文件夹，图文并茂。想从源码层面理解实现，核心代码都在 mod-openvino/ 目录下，按功能划分得很清楚。如果你想从源码自行编译安装（而非下载现成安装包），Windows 和 Linux 各有完整的编译指南：doc/build_doc/windows/README.md 和 doc/build_doc/linux/README.md。

下一步行动清单

看完这篇手册，你现在就可以动手了。按下面的清单一步步来，每一项完成就打个勾：

• 克隆项目并把mod-openvino.dll复制到 Audacity 的Plug-Ins目录（或通过 snap 安装并下载模型）
• 在偏好设置 → 模块中启用 mod-openvino 并重启 Audacity
• 选一首歌，用"2-Stem"模式完成第一次音乐分离，试听伴奏效果
• 录一段带噪音的语音，分别用三种降噪模型跑一遍，对比哪个更合你口味
• 把一段会议录音转成文字稿，体验标签轨道的精准对齐
• 用一个文字描述生成一段 10 秒的背景音乐，记录下满意的种子值
• 找一段老旧录音，试试超分辨率能"补"回多少细节

最后留一个小挑战：选一首你最喜欢的歌，先用 4-Stem 分离出人声，再给"人声轨"加一层降噪，然后用音乐生成功能写一段 5 秒的"伴奏续写"，把这三段拼起来——看看你手里的歌，能不能被 AI 玩出一个属于自己的版本。如果玩出了有趣的结果，欢迎回到项目社区，把经验分享给更多人。

【免费下载链接】openvino-plugins-ai-audacityA set of AI-enabled effects, generators, and analyzers for Audacity®.项目地址: https://gitcode.com/gh_mirrors/op/openvino-plugins-ai-audacity