Gemini Lyria RealTime 教程10 分钟跑通实时音乐生成模型【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbookGemini Lyria RealTime 是 Gemini API 中的实时音乐生成模型输入简短文本它会持续流式输出器乐并允许你边播放边调整风格、速度与调性。本教程面向刚接触实时音乐生成的开发者与音乐爱好者基于官方 cookbook 仓库中的示例代码带你 10 分钟内跑通第一段实时音乐。Gemini Lyria RealTime 能帮你做什么传统的文生音乐工具是“提交提示词 → 等待 → 拿到整首成品”而 Lyria RealTime 把这个流程反过来了。它通过 websocket 保持一条不断开的连接音乐边生成边播放你在播放过程中继续输入指令比如从“钢琴独奏”改成“加入西塔琴”或提示它“转成爵士感”模型会平滑地过渡到新方向。速度bpm、调性scale、提示词跟随度guidance、音符密度density、亮度brightness都可以在运行中修改不必重新生成整首曲子。这使它适合几类事情对着旋律实时 jam 找灵感、为游戏和视频做现场调音的配乐、随观众输入变化的互动装置以及“玩家即作曲者”的音乐小工具。需要注意它默认只生成器乐无人声如果想尝试人声元素需在配置中启用 VOCALIZATION 模式。环境准备与第一次运行 一条命令装好依赖本地实时播放以仓库自带的 Python 脚本为准环境要求只有 Python 和一块声卡。先从 Google AI Studio 申请一个 API key并把它设为环境变量GOOGLE_API_KEY然后安装仅有的两个依赖pip install pyaudio websocketspyaudio 负责本地出声websockets 负责承载流式音频两者缺一不可。三分钟跑通第一首实时音乐在仓库根目录执行python quickstarts/Get_started_LyriaRealTime.py程序启动后会自动播放一段默认的钢琴曲BPM 120、降 A 大调随后终端持续提示你输入新指令q退出。这是仓库里体验实时音乐生成最完整的入口适合第一次上手。实战演练 实时混音边播放边改速度与调性做什么在曲子播放中改变参数。关键步骤在终端输入bpm140提速输入scaleG_MAJOR_E_MINOR换调用play/pause控制播放状态。会得到什么一次不断线的实时改速改调。注意改 bpm、scale、top_k 之后模型会重置生成上下文音乐从头开始——这正好可以当“段落切换”用。风格混搭用加权提示词做出独特曲目做什么让多种风格同时生效。关键步骤按风格:权重, 风格:权重格式输入例如Indie Pop:0.6, Sitar:1.5, Danceable:1.4权重越高该风格占比越强。会得到什么一首不属于单一风格的混音。技巧是每个词保持短小——“meditation”“eerie”“harp” 这类短词比长句被理解得更准。在 Colab 上生成音乐文件做什么没有本地声卡只想看到生成效果。关键步骤在 Colab 中打开 Lyria RealTime 入门 Notebook把 API key 存为 Colab SecretGEMINI_API_KEY依次运行示例单元格参数面板里填好提示词、BPM、调式与时长。会得到什么一段可直接播放的.wav文件。注意 Colab 中音频要等写入完成后才整体回放感受不到实时交互。常见坑与实用技巧 ⚠️现象在 Colab 里只能最后整段听到没有实时感。原因Colab 的限制——流式音频先写入 wav 文件再统一播放。解决要真实时体验请在自己电脑上运行 实时 Python 脚本。现象修改速度或调性后音乐突然从头重播。原因bpm、scale 这类参数修改后必须调用reset_context生成上下文被清空。解决这是设计行为而非故障可主动当“段落切换”使用小的情绪变化优先用提示词微调避免频繁动硬参数。现象提示词越写越长效果反而平庸。原因模型对简短音乐术语genre、乐器、情绪的理解优于冗长句式。解决把描述拆成 2-3 个短词用加权提示词控制各自占比再配合 bpm/guidance 多试几组。现象脚本启动报错或没有声音。原因pyaudio 未装好或系统没有可用的音频设备。解决确认pip install pyaudio websockets成功macOS 上可能需要先安装 PortAudio仍失败时先用 Colab 版确认 API key 与模型调用本身正常再排查本地声卡。相关资料与下一步仓库中的材料按“上手深度”划分Lyria RealTime 入门 Notebook适合初学者顺序运行即可得到音乐文件参数面板可调节 BPM、调式、密度与亮度。实时交互 Python 脚本适合动手练习终端式交互控制台命令支持最全。WebSocket 协议版 Notebook适合想理解底层协议的开发者绕过 SDK 直接走原生 websocket 收发消息。Lyria 3 入门 Notebook适合想“一次生成整首成品”的场景非实时版本可对照理解实时与非实时的差别。Live API 入门适合想系统了解 Gemini API 实时交互能力的人。examples 目录里还有其它多模态示例素材比如下面这张城堡线稿与实时音乐搭配可用于互动展示小结Lyria RealTime 目前仍是预览功能现阶段免费但带配额限制接口可能随版本调整。建议从本地脚本跑通“提示词 加权混音 实时调参”这套基本操作再按需深入到 websocket 协议层搭建你自己的实时音乐体验。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考