大模型（四）Text and Image To Video FramePack学习

发布时间：2026/7/31 7:29:06

大模型（四）Text and Image To Video FramePack学习

参考repo

https://github.com/lllyasviel/FramePack

学习过程

主要想对代码整体流程有一个大致理解，不纠结每一个函数的具体调用过程是什么。

2025.07.16 - prompt处理

  • 代码中if not high_vram的理解
    在这里插入图片描述

  • vae.requires_grad_(False)的理解
    在这里插入图片描述

  • fake_diffusers_current_device函数的作用
    在这里插入图片描述

  • load_model_as_complete函数的作用
    在这里插入图片描述

  • text_encoder和text_encoder_2在代码中的作用
    在这里插入图片描述

  • LlamaModel和CLIPTextModel的不同
    在这里插入图片描述

  • 详细说明encode_prompt_conds的执行过程
    在这里插入图片描述

  • crop_start的作用是什么
    在这里插入图片描述

  • llama_input_ids和llama_attention_mask代表的含义
    在这里插入图片描述

  • cfg的作用
    在这里插入图片描述

  • crop_or_pad_yield_mask的作用
    在这里插入图片描述

  • 负向提示词在代码里面哪里有体现
    在这里插入图片描述

2025.07.17 - 输入图片处理

  • vae_encode函数的作用
    在这里插入图片描述
  • hf_clip_vision_encode函数的作用
    在这里插入图片描述

相关新闻

mac上BRPC的CMakeLists.txt优化：解决Protobuf路径问题

mac上BRPC的CMakeLists.txt优化：解决Protobuf路径问题

问题背景与挑战 在构建高性能RPC框架BRPC时，​Protobuf依赖路径的配置往往是开发者面临的主要挑战之一。原始CMake配置在寻找Protobuf库时存在以下痛点： ​路径搜索不精确​：默认find_library无法定位自定义安装路径下的Protobuf​版本兼容…

2026/7/24 21:35:19
GaussDB 数据库架构师修炼(五) 存储容量评估

GaussDB 数据库架构师修炼(五) 存储容量评估

1 存储容量评估主要流程 2 如何估算业务系统的存储容量 存量业务替换数据库场景 经验估算法一般按 1.2~1.5 的数据膨胀系数计算 GaussDB 数据量。 2.抽样评估法 使用工具导出部分生产环境迁移到 GaussDB ，观察膨胀系数，再按比例放大计算。 新建业务规划数据库场景 调…

2026/7/21 20:09:37
设备发出、接收数据帧的工作机制

设备发出、接收数据帧的工作机制

笔者最近遇到一个很有趣的题目，如下：问：A能否ping通B？问了很多朋友，答案1：能，因为两个的IP地址和掩码相与，不就是同一个网段吗？（有点道理）答案2&a…

2026/7/26 12:52:21

最新新闻

工控PCB隔离开槽与隔离坝专属制造工艺剖析

工控PCB隔离开槽与隔离坝专属制造工艺剖析

一、工业现场强电磁环境下普通 PCB 布局工艺的短板工厂变频器、接触器、大功率电机启停时会产生剧烈的脉冲干扰、电磁场辐射，工业 PCB 同时承载高压功率回路、微弱采样信号、总线通讯线路，强弱电耦合极易造成采集数据漂移、PLC 通讯掉线、保护回路误触发…

2026/7/31 20:10:49
单片机毕设选题推荐：基于 STM32F103C8T6 的交互式音乐弹奏终端设计 单片机驱动 OLED 显示的智能音乐播放系统开发（014401）

单片机毕设选题推荐：基于 STM32F103C8T6 的交互式音乐弹奏终端设计 单片机驱动 OLED 显示的智能音乐播放系统开发（014401）

博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于嵌入式单片机，Java、小程序技术领域和毕业项目实战 ✌️…

2026/7/31 20:10:49
SpringBoot+Vue校园外卖系统架构设计与实现

SpringBoot+Vue校园外卖系统架构设计与实现

1. 项目概述：校园外卖服务系统的技术架构与价值校园外卖服务系统是一款基于SpringBootVueMySQL技术栈的完整解决方案，专为高校场景下的餐饮配送需求设计。这个开源项目最吸引人的特点是"开箱即用"——源码仓库中已经整合了前后端完整代码和数据…

2026/7/31 20:10:49
通达信起爆点量化交易策略解析与实现

通达信起爆点量化交易策略解析与实现

1. 项目概述：解密"通达信起爆"的技术内涵在金融量化交易领域，"通达信起爆"这个术语最近频繁出现在专业讨论群组和策略分享平台上。这个看似简单的四字组合，实际上蕴含着量化交易者对于特定市场状态的精确捕捉需求。所谓&…

2026/7/31 20:10:49
LangGraph工作流踩坑记：权限日志没配好，Agent上线直接崩

LangGraph工作流踩坑记：权限日志没配好，Agent上线直接崩

这篇不先堆名词。我们把《LangGraph真能提效吗？先看流程里最慢的那一步》拆成几级台阶，看完至少知道下一步该学什么、该练什么。摘要之前写过一个GraphRAG的实战复盘，有人留言说"Demo能跑通，上线就崩"。当时我还没太在意…

2026/7/31 20:10:49
一个MOVED错误引发的血案，我把Redis Cluster路由请求的原理翻了个底朝天 - k8s

一个MOVED错误引发的血案，我把Redis Cluster路由请求的原理翻了个底朝天 - k8s

一个MOVED错误引发的血案，我把Redis Cluster路由请求的原理翻了个底朝天兄弟们，你们遇到过这种诡异报错吗？MOVED 3999 192.168.1.2:6379——明明是连接的Redis，却返回了一个“搬家”指令，让你去另一个节点。第一次…

2026/7/31 20:09:40

日新闻

ffmpeg-static 跨平台多媒体处理架构解析与技术实践

ffmpeg-static 跨平台多媒体处理架构解析与技术实践

ffmpeg-static 跨平台多媒体处理架构解析与技术实践 【免费下载链接】ffmpeg-static ffmpeg static binaries for Mac OSX and Linux and Windows 项目地址: https://gitcode.com/gh_mirrors/ff/ffmpeg-static ffmpeg-static 项目为 macOS、Linux 和 Windows 三大主流操…

2026/7/31 0:00:14
7步掌握KMS智能激活工具：Windows和Office永久激活完整方案

7步掌握KMS智能激活工具：Windows和Office永久激活完整方案

7步掌握KMS智能激活工具：Windows和Office永久激活完整方案 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO KMS_VL_ALL_AIO是一款功能强大的智能激活脚本工具，专为Windows…

2026/7/31 0:00:14
Linux 二进制分析利器：strings 命令从入门到实战全解

Linux 二进制分析利器：strings 命令从入门到实战全解

一、命令简介strings 命令用于在二进制文件、可执行文件、对象文件或任何数据文件中查找并提取可打印的字符串序列。它默认识别长度至少为 4 个字符的可打印 ASCII 字符串（以换行符或空字符终止）。该工具在逆向工程、调试和二进制文件分析中非常有用&…

2026/7/31 0:00:14

周新闻

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别： allies enemy tag图片总量：7247张训练集：5139张验证集：1425张测试集：683张标注状态：全部已标注，即拿即用数据格式：支持YOLO格式及其他格式&#…

2026/7/31 15:38:56
智慧飞行 大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 从航线规划、自动飞行、AI识别到数据管理，一个平台全搞定

智慧飞行 大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 从航线规划、自动飞行、AI识别到数据管理，一个平台全搞定

智慧飞行-大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 企业级全域智能无人机一体化管控平台源码！ 专为电力巡检、安防监控、应急救援、测绘勘察等行业打造，让您的无人机舰队实现 “无人化、自动化、智能化” 管理！ 🎯 …

2026/7/31 12:13:38
揭秘ChatGPT+Mathematica协同教学：为什么92%的初学者在72小时内建立函数直觉？

揭秘ChatGPT+Mathematica协同教学：为什么92%的初学者在72小时内建立函数直觉？

更多请点击： https://codechina.net 第一章：AI帮助理解数学概念 人工智能正以前所未有的方式重塑数学学习的路径。通过自然语言处理与符号计算的深度融合，AI不仅能解析抽象定义，还能将定理、证明和几何直觉转化为可交互、可验证的…

2026/7/31 17:47:01

月新闻

[C++]内存管理：串顺序存储的内存回收

[C++]内存管理：串顺序存储的内存回收

在串（字符串）的顺序存储中，内存回收的方式取决于字符串的存储方式以及所使用的编程语言和相关库。以下以 C 为例进行说明，因为 C 对内存管理有较为直接的控制。 1. 基于 char 数组的串顺序存储 如果使用普通的 char 数组来存储字…

2026/7/31 15:40:14
移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试：先控制变量，再比较优化是否真的省电 摘要：功耗测试最容易犯的错误，是拿两次不同温度、不同亮度、不同场景的平均功率直接比较。本文给出一套可复现的游戏功耗测试方法，覆盖引擎特性验证、版本回归和黑盒体验测试，并说明如何把功耗与帧率、温控、CPU/G…

2026/7/31 7:06:50
足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

本文是“足球口袋教练 HarmonyOS 离线应用实战”系列第 3 篇。示例项目是一个 HarmonyOS / ArkTS / ArkUI 编写的离线足球训练助手，围绕真实页面、真实截图和可复现操作展开。 本篇要解决的问题 训练 App 的首页不能只展示欢迎语，它要解决“我现在该点哪…

2026/7/31 17:47:01