Gemini Lyria RealTime 实时音乐生成指南3 条命令跑通会边听边改的 AI 音乐【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook做一段 30 秒的音乐 demo以前要导出工程、渲染、再发回给你来回至少一个来回现在一句话就能出而且音乐播到一半还能随时改。Gemini API Cookbook 收录的 Lyria RealTime 教程演示的就是这种体验一个通过 websocket 持续生成器乐音乐、且能在播放中实时改风格的模型。它是什么 / 一分钟上手Lyria RealTime 走的是请求一次、拿一段成品的旧模式的反面会话保持打开模型一边流式吐 PCM 音频你一边用文本提示和参数持续干预模型平滑过渡到新方向直到你主动叫停。跑起来只需 3 个前提装了 Google GenAI SDK 的 Python 环境、一个在 Google AI Studio 拿到的 API key、本地能出声的声卡依赖 pyaudio。pip install google-genai pyaudio websockets export GOOGLE_API_KEY你的key python Get_started_LyriaRealTime.py脚本在 quickstarts/Get_started_LyriaRealTime.py。启动 5 秒后先播放一段 120 BPM、A 大调的钢琴在提示符输入pause、play、bpm80音乐随指令改变输入q结束会话。核心能力拆解文本提示驱动的实时混音能力模型只生成器乐不带人声风格完全由文本提示定义并且提示可以带权重。用法输入bpm120, scaleA_FLAT_MAJOR_F_MINOR之外的任意文字即可切换输入爵士:0.7, 钢琴:0.3这类文本:权重的列表模型按权重把多个影响源混在一起。效果不用 DAW 叠轨两条风格描述就能拼出一个新编曲方向输入后模型在当前播放流上平滑过渡不用从头再生成。实时改 BPM 与调性能力通过LiveMusicGenerationConfig在会话中改参数而不是改完重新生成整曲。用法bpm80降速scaleC_MINOR切到小调参数写AUTO则交还模型自己判断。效果舒缓、紧张这类情绪切换靠参数就能完成。注意两点模型名是models/lyria-realtime-exp实验性质客户端要显式指定 v1alpha而改bpm、scale、top_k这三类参数脚本会顺带reset_context()——参数生效的代价是上下文重置音乐从当前提示重新起势所以它更适合换段落不适合微调。不停播的流式音频能力websocket 长连接下48kHz、双声道、16bit 的 PCM 分块每块 4200 帧持续到达并写入声卡。用法官方脚本先播 1 秒缓冲吸收网络抖动然后边收边放pause停、play续音乐不中断。效果拿到的是一直在进行的演出适合需要无限时长背景音的场景。真实使用场景游戏动态 BGM。需求平时要轻快循环战斗切紧张进安全区再舒缓。做法常驻一个会话进战斗发bpm150加一条紧张弦乐:1进安全区改回bpm70加氛围钢琴:1。结果状态机只管发提示音频侧无需重新加载文件切换点由模型平滑过渡。互动装置。需求让观众的动作实时影响音乐。做法把传感器阈值翻译成play/pause或带权提示例如靠近触发弦乐:0.8, 电子:0.2远离触发氛围:1。结果一个能听观众指挥的现场音场参考 quickstarts/websockets/ 下的 websocket 协议示例。仓库素材图examples/assets/castle.png这类生成图像常和 AI 生成的音乐一起用作互动装置的视觉层图里就是 AI 生成的一幅城堡场景。踩坑与经验现象稳定版 SDK 里找不到live.music.connect。原因Lyria RealTime 仍是 preview脚本里写了api_version: v1alpha才连得上。处理客户端按 Get_started_LyriaRealTime.ipynb 的写法固定 v1alphapreview 意味着接口可能变动别把生产依赖押在实验通道上。现象改bpm或scale之后音乐听感断了一下再进。原因这类参数变更必须reset_context()上下文被重置。处理把参数变更当成切段落来设计连续微调情绪优先用新的带权提示词不用动配置。现象播放中段偶尔卡顿。原因BUFFER_SECONDS在缓冲与延迟之间做权衡网络抖动大于缓冲就会吃数据。处理默认 1 秒网络更差就调大它代价是指令响应也变慢。现象输入提示后音乐没变终端打印Prompt was filtered out: ...。原因提示词被安全过滤拦截。处理回看被过滤的具体文本换掉敏感描述再发脚本 quickstarts/Get_started_LyriaRealTime.py 的接收循环里保留了这条日志别删。现象在 Colab 里打开 notebook 听不到实时效果。原因notebook 只能输出有限音频实时性要靠本地声卡或浏览器。处理跑本地 py 脚本或用 AI Studio 的 Prompt DJ / MIDI DJ 应用notebook 用来读代码逻辑。适合谁 / 下一步适合要无限时长、可被状态机驱动的背景音乐的应用游戏、互动装置、直播场景以及想摸透 Gemini 实时音频 websocket 协议的开发者。不适合要人声、要完整歌曲结构主歌-副歌-桥段的成品曲这类需求用非实时的 Lyria 3对应 quickstarts/Get_started_Lyria.ipynb支持 30 秒片段与整曲结构控制。下一步想看懂底层协议翻 quickstarts/websockets/ 里的 Python 脚本和 bashwebsocat示例想扩展 Live API 的音视频能力读 quickstarts/Get_started_LiveAPI.ipynb。今天就能做的两件事按开头 3 条命令把本地脚本跑起来把bpm80和一条带权提示各发一次再把脚本里BUFFER_SECONDS从 1 改成 2对比卡顿和指令延迟的变化。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考