开源！我用 Python 造了个 AI 视频生成框架，输入一句话自动出片

开源！我用 Python 造了个 AI 视频生成框架，输入一句话自动出片

一句话需求，AI 自动完成，视频直接输出。

最近做了一个开源项目：小云雀视频 Agent。它是一个纯粹的 AI 视频生成 Agent 框架，把用户输入的自然语言需求，自动转换成视频。

项目地址（MIT 协议）：

https://github.com/xiaoyunque-video-agent/xiaoyunque-video-agent

为什么做这个

现在的 AI 视频工具很强，但用起来割裂感严重：

1. 写好 Prompt，打开网页，粘贴，等待，下载
2. 想换个风格？重写 Prompt，重来
3. 想做多镜头？手动拼，累死人

如果这个过程让 AI 自己完成呢？这就是小云雀的设计目标：一个让 Agent 自动完成视频生成的框架。

快速体验

gitclone https://github.com/xiaoyunque-video-agent/xiaoyunque-video-agent.gitcdxiaoyunque-video-agent pipinstall-e".[dev,cli]"# 无需 API Key，Mock 模式直接测试python examples/generate_video.py--prompt"古代侠客雨夜竹林行走"--mock

3 秒后就能看到完整的生成流程日志。整个框架的依赖只有 5 个：Pydantic v2、httpx、python-dotenv、openai 和 typer（CLI）。

核心架构

整个框架就三层：

用户输入 | v Workflow Agent（工作流编排） | +-> Prompt Agent（LLM 优化 Prompt） | +-> Video Agent（提交 + 轮询 + 下载） | v Provider 抽象层 小云雀 / Mock / Kling（未来） | v 生成视频

Prompt Agent

把大白话转成结构化视频 Prompt。支持 OpenAI 和 DeepSeek，几行代码就能接入：

classPromptGenerator(ABC):asyncdefgenerate(self,user_input:str)->VideoPrompt:...

AI 自动输出场景、角色、运镜、风格、光影、动态等结构化字段。

Video Agent

管理视频任务的完整生命周期。提交任务后，用指数退避轮询：

# 轮询间隔：2s -> 5s -> 10s -> 30s（上限）# 超时时间：600 秒（10 分钟）intervals=[2,5,10]timeout=600

Provider 抽象层

就三个抽象方法：

classVideoProvider(ABC):asyncdefsubmit_video(self,options)->TaskInfoasyncdefquery_task(self,task_id:str)->TaskInfoasyncdefdownload_video(self,url:str,path=None)->Path

接新平台只需要继承这个接口。框架内置小云雀和 Mock 两种实现，开发阶段用 Mock，测试通过切到真实 API，零代码改动。

在代码里调用

importasynciofromsrc.agents.workflowimportWorkflowAgentasyncdefmain():wf=WorkflowAgent()result=awaitwf.run("生成 30 秒赛博朋克城市夜景视频")print(result.local_path)# 视频文件路径asyncio.run(main())

Workflow Agent 的编排代码只有 100 行，每个步骤都有清晰的日志输出。

进阶：多镜头剧本生成

单一镜头不够？框架内置了 v2.0 多镜头工作流：

剧本文本 v ScriptParser 解析为镜头列表 v CharacterExtractor 提取角色档案（外貌、服装） v SceneExtractor 提取场景信息（时间、光影） v ShotGenerator 逐镜头生成，跨镜头一致性 v AudioDesigner 设计音效和配乐 v VideoCompositor 合成最终视频

数据模型用 Pydantic v2 定义：

classShot(BaseModel):id:int# 镜头编号duration:float# 时长（秒）shot_type:ShotType# 景别：远景/中景/特写/过肩subject:str# 主体action:str# 动作camera_movement:str# 运镜方式characters_in_frame:list[str]# 画面中的角色prompt:str# 生成的 Prompt

每个镜头可以独立调整，然后一键合成最终视频。

技术栈

测试覆盖：25 个测试文件，核心路径加异常路径全覆盖。Mock Provider 让 CI 测试零外部依赖。

命令行工具

# 生成视频python-msrc generate--prompt"古代侠客"--duration10--ratio9:16# 仅提交任务（不等待）python-msrc submit--prompt"测试视频"--duration10# 查询任务状态python-msrc query task_abc123# 下载视频python-msrc download task_abc123--output./my_video.mp4

写在最后

做这个项目的初衷很简单：让视频生成像写代码一样，可以被编排、被自动化。

现在的版本接入了小云雀 API，但 Provider 抽象层已经为 Kling、Runway 留好了位置。框架也是完全开源的，欢迎加功能、提 PR。

仓库地址：
https://github.com/xiaoyunque-video-agent/xiaoyunque-video-agent

欢迎在评论区聊聊你们的 AI 视频使用场景。对框架有想法也可以直接提 Issue。

如果这篇文章对你有帮助，GitHub Star 是对开源最好的支持。

本文由 CSDN Writer 自动发布