Open-Sora 1.3 技术解读视频压缩网络、窗口注意力 STDiT 与条件控制实战【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora本篇文章以 Open-Sora 1.3 技术报告docs/zh_CN/report_v4.md为核心系统梳理 1.3 版本在视频压缩网络、带位移窗口注意力的 STDiT、模型条件控制与评估方法四个方面的关键升级。读者读完可以掌握1.3 版 VAE 与 1.2 版两阶段 VAE 的架构差异与分块推理机制STDiT 从 rectified flow 到窗口注意力、3D 位置编码的演进脉络美学/运动分数如何作为文本条件参与训练与推理以及基于 rectified flow 损失与 VBench 的评估方法论并对照当前仓库源码定位每项能力的实际实现位置。概览1.1B 参数、85k 小时数据与多规格视频生成Open-Sora 1.3 在超过 60M约 85k 小时的数据上训练了一个 1.1B 参数的模型训练耗时约 35k H100 GPU 小时支持 0~113 帧、360p 与 720p 分辨率以及多种宽高比的视频生成。下表总结了训练过程中已覆盖的数据规格✅ 表示训练中已见过该规格的数据image49 frames65 frames81 frames97 frames113 frames360p✅✅✅✅✅✅720p✅✅✅✅✅✅延续 1.2 版本特性Open-Sora 1.3 同样支持图像到视频I2V生成与视频延展V2V。除此之外1.3 版本的亮点集中在五方面视频压缩网络统一的时空 VAE升级版带位移窗口注意力的 STDiT更多数据与更好的多阶段训练简单有效的模型条件控制更好的评估指标报告同时提到仓库还优化了代码库与文档并添加了 LLM 优化器用于优化输入提示词、支持更多语言。在推理配置中可以看到该能力的落点例如 configs/diffusion/inference/256px.py 中的motion_score等条件参数以及 scripts/diffusion/inference.py 中调用add_motion_score_to_text将分数注入文本条件见下文模型条件控制一节。视频压缩网络从两阶段 VAE 到统一时空 VAE1.2 时代的两阶段方案的局限Open-Sora 1.2 的视频压缩采用模块化方法基于 Stability AI SDXL VAE 的空间 VAE 逐帧压缩空间维度时间 VAE 再对空间 VAE 产出的潜在表示做时间压缩。这种两阶段设计虽然实现了有效的空间与时间压缩但存在三类限制长视频处理效率低需要固定长度的输入帧时空特征集成不足空间与时间特征缺乏无缝衔接内存需求高训练与推理时占用更多显存。1.3 的四大改进Open-Sora 1.3 将空间与时间处理统一进单一框架通过分块 3D 卷积与动态帧支持获得更好的效率、可扩展性和重建质量1. 统一的时空处理单一编码器-解码器结构同时处理空间与时间维度消除了两阶段方案中中间表示与时空模块之间的冗余数据传输。2. 分块 3D 卷积temporal tiling在时间维度引入分块 3D 卷积支持将视频拆分为更小的时间块实现长视频的高效编解码而不显著增加内存开销从而提升时间压缩灵活性。在仓库中该机制体现为DCAE类提供的分块tiled编解码接口见 opensora/models/dc_ae/models/dc_ae.py 中的spatial_tiled_encode约 L613、temporal_tiled_encode约 L642、spatial_tiled_decode约 L674与temporal_tiled_decode约 L704并配套blend_v/blend_h/blend_t三种方向的重叠融合函数约 L589-L605用于消除块边界不连续。3. 动态微批次与微帧处理(1) 自适应时间重叠——时间编解码过程中的重叠帧减少块边界不连续性(2) 动态帧长支持——不再局限于 1.2 的固定 17 帧支持动态序列长度适配不同视频长度。代码层面DCAE的encode/decode约 L666/L751会根据输入尺寸与分块开关自动选择整段或分块路径。4. 统一的归一化机制通过可调的缩放scale与平移shift参数确保不同数据集间潜在空间分布的一致性相比 1.2 的固定数据集归一化引入了更通用的参数并支持特定于帧的归一化策略。改进总结表特性Open-Sora 1.2Open-Sora 1.3架构独立的空间和时间 VAE统一的时空 VAE分块处理不支持支持分块 3D 卷积帧长度支持固定17 帧支持动态帧长度和重叠归一化固定参数可调的缩放和平移参数VAE 训练配置可参考 configs/vae/train/video_dc_ae.py例如model_namedc-ae-f32t4c128对应 32 倍空间压缩、4 倍时间压缩、128 通道的 DCAE 配置。需要注意的是从当前仓库快照的推理配置如 configs/diffusion/inference/256px.py 中ae使用typehunyuan_vae来看最新推理链路默认使用的是因果 3D VAEHunyuanVAE而非 DCAEDCAE 的训练与推理代码仍完整保留在仓库中可作为理解统一时空 VAE 分块处理设计思想的参考实现。包含滑动窗口注意力的 STDiT从 rectified flow 说起最新的扩散模型如 Stable Diffusion 3采用 rectified flow 替代 DDPM 以获得更好的性能。虽然 SD3 的 rectified flow 训练代码未开源Open-Sora 按照 SD3 论文提供了训练实现。Open-Sora 1.2 从 SD3 引入了三个关键策略基础的 rectified flow 训练实现连续时间扩散Logit-norm 采样加速训练遵循 SD3 论文 3.1 节优先在中等噪声水平采样时间步分辨率和视频长度感知的时间步采样遵循 SD3 论文 5.3.2 节对更大分辨率和更长视频使用更多噪声。从当前仓库源码看STDiT/MMDiT 的时间条件注入确实采用连续时间建模timestep_embedding支持分数时间步并乘以time_factor见 opensora/models/mmdit/layers.py L68-L88这正是 rectified flow 连续时间扩散所需的时间编码形式。1.3 的架构改进在 1.2 基础上1.3 在架构、功能与性能三方面做了显著改进1. 位移窗口注意力机制引入可配置kernel_size的基于核的局部注意力提高计算效率实现类似 Swin Transformer 的位移窗口分区策略增加带extra_pad_on_dims支持的窗口边界填充掩码处理在局部窗口时间、高度、宽度内扩展 3D 相对位置编码。2. 增强的位置编码改进 RoPE 实现将rotation_dim降至原来的 1/3 以适应 3D 场景为时间、高度、宽度维度添加独立的旋转嵌入实现分辨率自适应的位置编码缩放可选的空间 RoPE 以更好地建模空间关系。仓库中的 3D 化 RoPE 落地形式可参考axes_dim配置例如 configs/diffusion/inference/256px.py 中axes_dim[16, 56, 56]将位置编码维度拆分为时间轴 16 维与高、宽各 56 维三者之和恰好等于单头维度hidden_size / num_heads 3072 / 24 128。对应实现见 opensora/models/mmdit/layers.py 中的EmbedNDL31-L44与LigerEmbedNDL47-L65对每个轴分别计算 RoPE 再沿轴拼接实现每个维度独立旋转嵌入MMDiTModel在初始化时校验sum(axes_dim) pe_dimopensora/models/mmdit/model.py L85-L89。3. 灵活的生成能力添加 I2V 与 V2V 功能配备专门的条件控制机制引入条件嵌入模块x_embedder_cond与x_embedder_cond_mask零初始化条件嵌入以实现稳定训练通过skip_temporal选项实现灵活的时序建模。条件嵌入在源码中的对应物是MMDiTConfig.cond_embed与MMDiTModel.cond_inopensora/models/mmdit/model.py L106-L112其输入通道为in_channels patch_size**2即图像条件如首帧/尾帧的潜在表示 掩码拼接。零初始化策略在initialize_weights中显式执行当cond_embed开启时cond_in的权重与偏置全部置零L149-L152与报告所述零初始化条件嵌入以实现稳定训练完全对应。4. 性能优化改进 Flash Attention 触发条件N 128以提高效率添加torch.scaled_dot_product_attentionSDPA作为替代后端通过改进的填充和窗口分区优化内存使用通过自适应高度填充增强序列并行性。从当前仓库源码看注意力后端支持 FlashAttention 2/3 与 Liger Kernel 融合算子attention函数优先使用 FlashAttention 3回退到 FlashAttention 2opensora/models/mmdit/math.py L16-L36LigerRopeFunction用于替代手工 RoPEL26-L29QKNorm使用 Liger 融合 RMSNormopensora/models/mmdit/layers.py L114-L135。这些都可视为报告中性能优化方向的工程实现。从 PixArt-Σ 的适应过程从 PixArt-Σ 2K 的适应过程与 1.2 保持相似前 7 点多分辨率训练、QK-norm、rectified flow、logit-norm 采样、更小的 AdamW epsilon、新 VAE 与基础时序注意力1.3 额外增加了第 8 点8. 增强的时序模块添加带位移窗口支持的基于核的局部注意力实现带分辨率自适应缩放的 3D 相对位置编码采用改进的初始化策略进行投影层零初始化。从当前仓库快照看mmdit 目录已演化为基于 Flux 架构的DoubleStreamBlock/SingleStreamBlock实现opensora/models/mmdit/layers.pycond_embed条件通道与 3D RoPE 等 1.3 特性仍保留其中而报告所述的位移窗口注意力基于核的局部注意力属于 1.3 发布版本的 STDiT 特性窗口分区与填充掩码逻辑可在报告与发布版实现中对应查找。小结质量、灵活性、效率相比专注于基础视频生成的 v1.2v1.3 在三个关键领域带来实质性改进质量通过位移窗口注意力和 3D 位置编码增强时空建模灵活性支持 I2V/V2V 任务与可配置的时序建模效率优化注意力计算和内存使用。模型在保留 rectified flow 高质量图像/视频生成能力的同时在条件生成与长序列建模上获得新优势。简单有效的模型条件控制Open-Sora 1.3 对每个视频片段计算美学分数与运动分数过滤低分片段得到质量更高的数据集同时将这些分数附加到标题中用作条件控制。数值分数基于预定义范围转换为描述性语言美学分数转换低于 4 分标记为 terrible依次经过 very poor、poor、fair、good、very good6.5 分及以上标记为 excellent运动分数转换低于 0.5 分标记为 very low依次经过 low、fair、high、very high20 分及以上标记为 extremely high。例如对一个美学分数 5.5、运动分数 10、检测到相机运动为向左平移的视频其标题为[Original Caption] The aesthetic score is good, the motion strength is high, camera motion: pan left.推理阶段同样可以使用这些分数控制生成。报告指出相机运动只标记了 13k 个高置信度片段相机运动检测模块已在工具中发布。仓库中的条件控制落地当前仓库中可以看到运动分数条件控制的实际调用链scripts/diffusion/inference.py L222-L223当配置中存在motion_score时调用add_motion_score_to_text(batch.pop(text), cfg.get(motion_score, 5))将分数追加到文本opensora/utils/inference.py L199-L207add_motion_score_to_text支持两种模式——motion_score dynamic时走refine_prompts(text, typemotion_score)即借助 LLM 动态生成描述否则直接在标题后拼接f{motion_score} motion score.configs/diffusion/inference/256px.py L32motion_score 4即默认以运动分数 4 进行视频生成。这样分数→描述性语言→文本条件→模型条件嵌入的完整链路在推理配置中即可开箱使用把数值分数写到motion_score字段脚本自动完成标题增强。美学分数与相机运动的检测、过滤工具链则按报告所述在数据侧完成其标注后的文本格式即上文示例。评估方法此前仅靠人工评估监控训练过程因为 DDPM 训练损失与生成视频质量相关性不高。但对于 rectified flow正如 SD3 所述训练损失与生成视频质量有很好的相关性。因此 Open-Sora 1.3 持续跟踪 100 张图像与 1k 个视频的 rectified flow 评估损失从 pixabay 采样 1k 个视频作为验证数据集计算不同分辨率360p、720p下图像与不同长度视频49、65、81、97、113 帧的评估损失每种设置等距采样 10 个时间步对所有损失取平均值。此外训练期间还跟踪 VBench 分数。VBench 是用于短视频生成的自动视频评估基准评估使用 360p 49 帧视频计算 vbench 分数。这两个指标共同验证模型在训练过程中持续改进。报告说明所有评估代码都在eval文件夹中发布并指向 eval/README.md 查看详细信息。需要说明的是当前仓库快照中未包含eval目录评估代码与说明文档需要从包含完整评估工具的发布版本获取。总结与延伸阅读Open-Sora 1.3 的四项核心升级环环相扣统一的时空 VAE 解决长视频压缩的效率与质量问题位移窗口注意力与 3D 位置编码强化 STDiT 的时空建模美学/运动分数条件控制让数据筛选与生成控制共用同一套信号rectified flow 评估损失与 VBench 则提供了可量化的训练监控手段。整套训练与推理实现均在仓库中提供可对照以下路径深入学习视频压缩网络实现opensora/models/dc_ae/models/dc_ae.py含temporal_tiled_encode/decode分块逻辑、训练配置 configs/vae/train/video_dc_ae.pySTDiT/MMDiT 模型opensora/models/mmdit/model.py、opensora/models/mmdit/layers.pyRoPE/QK-norm/调制、opensora/models/mmdit/math.py注意力与 RoPE 算子条件控制调用链scripts/diffusion/inference.py、opensora/utils/inference.py、configs/diffusion/inference/256px.py完整技术报告docs/zh_CN/report_v4.md 及其英文版 docs/report_04.md以及 docs/zh_CN/report_v3.md 中关于 1.2 版本的基础特性多分辨率训练、QK-norm、rectified flow 等【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考