去年年初我接手一个任务搭建面向电商场景的批量视频生成系统。说得直白一点——输入商品主图、详情页和一段卖点描述系统自动产出一支15到30秒的带货短视频。当时团队里已经有人用市面上的多模态大模型做了Demo效果相当惊艳画面漂亮、配音顺畅、字幕也对得上。拍板的人很兴奋觉得上线只是时间问题。真正做下去才发现Demo好看和工程可用之间隔着一整条多模态工程化的鸿沟。那段时间我几乎每天都在跟一个结论较劲模型确实还不够聪明。这句话不是吐槽而是我们在做电商视频生成系统时的真实处境。视觉语义不稳定、指令跟随不可控、幻觉输出防不胜防任何一个问题拿出来都足以让批量生产计划翻车。转型做工程化之后事情才开始有了转机。这篇内容不聊玄乎的多模态AGI只讲我们如何用工程手段把一个“看起来能跑”的Demo变成一套“每天能稳定产出几千条视频”的系统。适合正在做内容生成、电商数智化或视频自动化方向的同学参考也适合想理解“多模态融合算法到底怎么落地”的人读。1. 当模型还不够聪明三条真实翻车现场与问题归因1.1 语义匹配不等于属性识别CLIP分数高内容照样错先说第一个坑。早期方案里我最依赖的工具是CLIP这类视觉-语言模型。它擅长做图文匹配比如给一张图片配上候选文案让模型挑出最匹配的那句。这个机制在检索场景很好用但放到电商商品属性识别上问题立刻暴露。当时我们接入的是口红品类。商品详情页里写的是“哑光复古正红色”但CLIP在粗筛阶段给出高分匹配的文案却是“酒红色丝绒质感”。原因并不复杂CLIP在预训练阶段学到的是“口红红色哑光”这类粗粒度关联它分不清具体是正红、酒红还是枫叶红。这种细粒度属性判别从来不是它最擅长的事。更麻烦的是这个问题会在生成链路里被放大。画面模型按“酒红色”生成的口播文案配的却是正红色产品图。用户拿到手里一对比直接投诉我们“货不对板”。我们在复盘时把这个现象叫“badclip多模态”——模型给了一个高分但业务语义是错的。也是从那时起我定下一条铁律工具的高相似度分数只代表“相关”不代表“正确”。相关内容要让规则和校验器来做。1.2 指令跟随是概率游戏Prompt调优治标不治本第二个翻车点是指令跟随。用多模态大模型做视频生成时我们会在提示词里写“生成一段15秒视频”但输出经常是7秒或者28秒。让它“先展示商品全貌再切到细节特写”生成出来的画面可能从头到尾只有一个固定机位。起初团队花了很多时间调Prompt试图通过措辞约束模型行为。试过把“15秒”改成“精确长度15秒且在13秒到17秒之间”试过在提示词里叠加“分镜脚本”效果有一定提升但方差还是大到无法接受。后来我想明白一件事大模型的指令跟随本质上是概率生成它输出的len或镜头结构只是在token概率分布中“采了个样”。你无法保证每次采样都落在期望区间。工程系统的要求恰恰相反——它要的是确定性。模型负责生成内容工程负责把内容限制在边界内。后文的“分镜脚本引擎”就是对这个问题给出的解法不让模型直接生成整段长视频而是先生成结构化的镜头描述再逐段生成画面最后按硬约束拼接。1.3 模型幻觉与不可控输出最该被工程化解决的部分第三个问题几乎每个人都会遇到幻觉。商品文案里明明没有“德国红点设计奖”模型在视频字幕里能一本正经地编出来。详情页没有提到“7天无理由退换”口播却自己加了。这些内容一旦批量生成对品牌和平台规则都是巨大的风险。我见过一些团队用更强的大模型去“校正”弱模型的输出可校正模型同样会幻觉只是概率低一点。真正稳妥的做法是把需要保持事实的信息全部放到结构化字段里让模型从“自由发挥”变成“填空”并在生成后做一轮字段级校验。比如文案里不允许出现商品卡中不存在的属性出现就整句丢弃重写。做工程化不是不信任模型而是默认模型会犯错在设计系统时就给错误留好退路。多模态工程化的本质就是把模型的不可控性隔离在核心业务流程之外。2. 输入侧的工程化改造从“把图片丢给模型”到结构化商品卡2.1 商品属性抽取多模态模型只做“第一轮翻译”很多团队做视频生成拿到商品图片就直接拼接进提示词。这种做法的问题是模型需要在有限的上下文里同时完成“看图”“读懂商家文案”“规划视频叙述”三个任务任何一环出错都会被放大。我们的做法是拆开。第一轮先用多模态模型做属性抽取输出结构化的商品信息。这步用到的技术是“图文两路并行再融合”文本通道解析详情页和标题图像通道做品类识别和属性预测最后用一个轻量级融合层把两路结果合并。我参考了不少多模态融合论文里的做法但在真实场景里我最大的体感是复杂的模态交互模块很多时候不如一个“规则化的字段校验器”有用。关键不是融合得有多花哨而是抽取结果能不能被下游稳定消费。当时跑通的流程大概是商品链接“进入队列”系统下载主图、详情页截图跑OCR抽取文字再调用视觉语言模型识别“品类、颜色、材质、规格”等属性。接着把所有候选结果送入一张白名单映射表颜色映射到标准色号品类映射到统一分类树材质映射到供应链规范词。凡是不在枚举值范围内的属性一律标记为“待人工确认”宁可漏掉也不猜。2.2 用结构化商品卡Product Card管住信息边界经过属性抽取和校验每个商品最终会生成一张“商品卡”。它不是一段自然语言而是一个带固定字段的JSON。以下是我们线上实际使用的简化版结构{ product_id: SKU-202503-0147, category: 彩妆/口红, name: 哑光丝绒口红, standard_color: 正红色, material: 丝绒质地, key_selling_points: [哑光, 显白, 持妆8小时], forbidden_words: [最低价, 百分百, 红点奖], scene_candidates: [室内自然光, 白底商品图], promotional_tag: 新品上市 }这张商品卡是整个视频生成系统的信息底座。后续的所有Prompt、分镜脚本、口播文案、字幕文本都从这张卡里取字段而不是让模型从头读完整个详情页。这样做的好处非常明显模型没有机会“看到”那些不存在于商品卡中的信息自然也就难以捏造。有人会问为什么不直接用大模型一步生成脚本我的回答是一步生成是“概率串行”一个环节理解错后面全部跟着错。商品卡之后是规则校验器它检查JSON里的字段是否完整、枚举值是否合法、是否存在明显逻辑冲突比如把“无线耳机”写成“需要有线连接”。这套东西看起来笨但它的确定性极高恰好弥补模型的短板。2.3 Prompt模板与负面约束把自由度锁在笼子里模型不是越自由越好尤其在批量内容生产里。我们把Prompt做成了模板开头固定角色设定中间插入商品卡字段结尾追加负面约束。比如口播文案的提示词模板里有这样一段你是一名电商带货文案编辑。只能使用以下商品信息不得添加任何额外信息。商品名称{name}核心卖点{key_selling_points}标准颜色{standard_color}。如果信息缺失请直接留空不要补齐。禁止使用极限词、绝对化用语禁止添加荣誉、认证、销量等未经确认的信息。这种模板化写法在早期看很“机械”但它在批量生产场景是救命稻草。每一句生成的文案都能回溯到对应字段一旦出错我们能立刻定位是字段错误还是模板错误。负面约束词表里不止有合规词还有一些商业规避词——比如“最”“第一”“绝对”等。这些词如果出现在评论或用户投诉里很容易被平台标记我们宁愿不生成也不冒险。2.4 统一输入规格图像、文本、抽帧一视同仁多模态系统的第一课是“输入规格不统一后面全乱套”。商品主图有的很大、有的带水印、有的是场景图进入模型之前必须统一处理。我们对图像做最长边缩放到1024、居中裁剪到固定比例、将白底图与场景图分开打标文本则统一做繁简转换、消除不可见字符、过滤emoji和营销符号。还有一个容易忽略的点是时序数据。视频不是静态图画面是一连串帧构成的。为了做后续一致性检测我们会按固定间隔抽取关键帧比如每两秒一帧并为每帧记录时间戳和镜头序号。这就是所谓的“多模态时序数据融合”在工程里的落地不是把帧一股脑儿堆给模型而是让每一帧都携带上下文信息后续需要计算帧间相似度或定位异常帧时直接取用。3. 视频生成链路从“一个模型包打天下”到流水线化3.1 分镜脚本引擎让大模型先出提纲而不是直接出视频最初我们把整段视频的生成任务直接交给视频生成模型得到的结果五花八门镜头切换像乱剪、字幕和画面错位、背景音乐盖过人声。我意识到视频是一种强结构媒介没有结构约束模型就会按自己的“审美”随意发挥。于是我们做了分镜脚本引擎。具体逻辑是先生成结构化分镜再逐镜生成素材。分镜结构长这样{ script: [ { scene_id: 1, scene_type: opening, duration_seconds: 3, visual_description: 白底背景口红产品从右侧旋转进入画面中央, voiceover: 一支正红色哑光口红全新上市, subtitle: 正红色哑光口红, camera: medium_shot }, { scene_id: 2, scene_type: detail, duration_seconds: 4, visual_description: 特写镜头展示口红膏体质感与丝绒光泽, voiceover: 丝绒质地一抹显白, subtitle: 丝绒质地 一抹显白, camera: close_up } ] }大模型的角色是“分镜设计师”它根据商品卡生成结构化的镜头列表而不是直接生成视频。为什么这样能行因为分镜是文字结构即使模型输出的镜头描述稍有偏差我们还可以通过规则校验、字段过滤来修正。等分镜确定下来后续的画面生成、配音、字幕都能按图索骥每一步都是可验证的。3.2 逐镜头生成视频用局部确定性对抗全局失控分镜确定后画面生成采取“逐镜头生成”策略。每个镜头3到5秒生成时使用图生视频或文生视频模型固定商品主图作为第一帧。这个策略的核心是在“局部确定性”和“视觉多样性”之间取平衡短片段内模型更容易保持一致的商品外观也更容易控制运镜和时长。生成提示词我建议用固定结构主体动作场景镜头语言光照负面提示。比如主体正红色哑光口红丝绒外壳动作产品从右侧旋转进入缓缓移动到画面中央场景纯白摄影棚背景柔和均匀布光镜头中景运镜镜头缓慢推近负面提示画面变形、文字乱码、手部畸形、产品颜色不一致。逐镜头生成的代价是需要拼接但这个代价值得。就我们的统计整段生成视频在30秒以上时商品变形率大概是17%拆成5秒镜头再拼接后单镜头变形率降到了4%左右。画面风格一致性则由后处理统一调色来解决比试图让模型生成一支“完美长视频”要可控得多。3.3 配音、字幕与合成不要等视频出来再抢救视频并不只是画面。口播配音、字幕、背景音乐、转场效果每一项都影响观感。早期我们让模型直接生成字幕后来发现字幕错别字和夸大宣传词频繁出现才把字幕改成“从分镜脚本的voiceover字段导出”不再经过生成模型。字幕的内容来自商品卡和人工审核过的分镜文案确保字段级可追溯。配音用的TTS需要把语速和时长对齐。我们有一套粗略计算方法中文字音平均每秒4.5到5个字符3秒镜头最多写13到15个字超出就要压缩文案或延长镜头。音画合成统一用ffmpeg完成先合成无字幕版本再烧录字幕轨最后统一转码成目标平台要求的格式和码率。这个阶段最容易出问题的其实是“未经校验就合成”。所以我们规定每个镜头画面生成后先做一次故障帧检测模糊、黑屏、商品主体缺失再进入TTS阶段所有素材齐备后最后才做音画混流。任何一步检测失败直接触发重新生成该镜头。3.4 批量任务调度与失败重试批量生产场景下单条视频生成顺利不代表系统顺利。几百上千个SKU同时排队时我们碰到的问题包括视频生成API超时、返回空文件、单任务占用GPU内存未释放。于是我们上了异步任务队列把“生成画面”“生成配音”“合成视频”拆成不同队列每个任务设置超时时间失败自动重试三次重试仍失败就进死信队列等待人工排查。调度层还需要做并发控制。不同视频生成模型的负载能力差异很大有的并发一高就疯狂报错。我们按模型的吞吐量做信号量限制同时在整体架构上做“幂等任务ID”保证同一商品不会因为用户重试而生成两条重复视频。这套调度体系不复杂但它决定了一条流水线一天能稳定跑多少量。4. 数据集与微调的务实路径少烧钱、先解决准确率短板4.1 多模态数据集下载、清洗、过滤三步都别省做多模态工程化绕不开数据集。公开的多模态数据集确实不少但直接拿来做电商视频生成是远远不够的。我们下载过一些通用图文数据集做预训练阶段的辅助但真正拉高线上效果的是自建的电商商品数据集。数据清洗比想象中重要。以图像为例我们要过滤掉水印图、分辨率过低的图、白底图和模特图混杂的图、以及带有其他品牌Logo的图。文本方面要清洗掉无效字符、重复促销语、词频过高的废话文案。还要做图文相关性过滤计算图像与文本之间的相似度分数把明显图文不符的样本剔除。这里有一个容易被忽视的点数据分布要贴近线上场景。公开数据集以自然场景为主而电商商品图大多是白底棚拍、固定角度、强对比光照。如果只用公开数据微调模型学到的是“自然世界长什么样”而不是“商品长什么样”。数据清洗完之后我强烈建议按业务场景重新切分训练集和评测集保证验证集能反映线上真实输入分布。4.2 优先微调目标检测模型而不是微调整个大模型我在项目里最大的认知转变是一个多模态系统里最该被微调的往往不是最强的那个大模型而是一个轻量的辅助模型。比如“确保商品主体出现在画面中央”这一需求用目标检测模型解决比微调视频生成模型便宜得多也稳定得多。我们拿商品主图标注了一部分训练数据微调了一个轻量目标检测模型用来识别视频每一帧里的商品主体位置。检测模型输出每个主体的边界框和置信度系统只需判断商品主体是否存在于画面中、是否处于合理位置、是否与其他物体重叠过多。这就是“多模态微调目标检测”的典型玩法不是做一个通用的多模态专家而是围绕业务需求训练“单点超人”。这样的模型参数量小训练成本低单帧推理只要几十毫秒却解决了最基础的“东西在不在画面里”的问题。把这个问题交给大模型不仅贵而且不稳定。4.3 训练资源紧张的取舍冻结特征、小头微调与数据增强小团队做多模态优化最忌讳一上来就全参数微调一个十几B的大模型。训练成本高、周期长、还容易过拟合到电商小数据集上。我们实际采用的路线是冻结预训练模型的大部分参数只在顶层挂一个轻量任务头做微调。用到的技术是LoRA或Prompt Tuning这类参数高效微调方法。在目标检测这个任务上我也试过“CLIP特征轻量检测头”的方案。把CLIP当成视觉编码器固定住后面接一个小型检测头只训练检测头部分。这种做法有个隐藏问题CLIP本身不是为密集预测任务设计的用它提取的特征在定位精度上天然偏弱。所以最终生产环境用的还是专门设计的目标检测网络CLIP更多承担“粗筛候选区域”和“图文相关性打分”的角色。数据增强也值得花时间。电商图片可以做的增强包括颜色扰动、轻微旋转、加高斯噪声、模拟JPEG压缩、局部遮挡。这些增强手段能在不扩大人工标注成本的前提下迫使检测模型学到商品外观的稳定特征而不是死记硬背某个样本的颜色纹理。5. 多模态评测体系如何拦住“看起来能用上线就崩”的视频5.1 客观指标怎么设结构校验、语义一致性与画面时序稳定性很多团队做AI内容生成上线前只看“人工抽几条视频觉得不错”这是典型的幸存者偏差。我们的做法是建立一套多层级客观评测体系让每次变更都有数据可依。第一层是结构校验视频时长是否落在预设区间分辨率是否达标字幕是否可正常解析音轨是否存在文件能否正常解码播放。这一层用脚本就能跑每天全量执行。凡是结构不合格的视频直接不进生产库。第二层是语义一致性。我们会拿商品卡里的字段去对比视频的口播文案和字幕文本。具体做法是让LLM当裁判判断字幕中出现的属性是否都在商品卡中存在。比如商品卡写“正红色”字幕写“酒红色”就判定为不一致。这个步骤被我们称为“多模态观测”因为它本质上是在观察不同模态之间是否存在语义漂移。第三层是画面时序稳定性。抽取相邻帧的特征计算余弦相似度连续几帧相似度过低说明可能存在画面跳变或异常切换。这个方法虽然粗糙但能快速筛掉明显穿帮的视频准确率足够用。5.2 别只看CLIP Score跨模态评估需要交叉验证上文提到“badclip多模态”现象在评测阶段同样成立。单纯看CLIP Score有些视频得分很高但商品颜色是错的有些视频得分并不高人工看起来反而观感良好。CLIP Score适合做“粗筛门槛”但不适合当唯一指标。我们的交叉验证方案是图文一致性由“CLIP分数”和“检测器输出”双通道把关。检测器负责回答“商品是否在画面里”属性校验器负责回答“文案是否与商品卡冲突”LLM裁判负责回答“整体语义是否有明显吹嘘或歧义”。三道闸门全部通过才进入下一关。这套方案很俗但效果扎实。评分还会按品类做分层。口红品类更看重颜色准确性数码3C品类更看重型号和参数一致性。所以我在设计评测系统时加了一个“品类维度配置表”不同品类使用不同的权重。这一步虽小但极大提高了人工评审的通过率。5.3 自动化回归评测每次变更都要过的“质量门禁”模型更新、Prompt调整、分镜模板改动、TTS音色切换任何一个环节变化都可能影响最终成片。为了防止“上一次上线是好的这次上线崩了”我们建了一个固定评测集大概包含500个商品样本覆盖不同品类和复杂程度。每当有变更就在评测集上全量跑一遍对比关键指标曲线。颜色错误率、结构不合格比例、字幕错字率任何指标超过阈值就自动告警。我发现这个动作最大的价值不是揪出具体bug而是让团队形成了“变更必评测”的肌肉记忆。没有这套门禁你根本不知道是哪一天、哪一次改提示词让整体质量悄悄降了一个档次。5.4 Badcase回流从评测结果到数据集的闭环评测体系不能只负责“找出问题”还得负责“消化问题”。每周我们会挑出50个左右低分视频逐个人工标注失败原因是商品颜色偏了、是字幕多词、是画面变形还是文案夸大。然后把这些badcase转成训练数据或校验规则。这个闭环在第一个月效果最明显。前两周我们积累了大约120个低质case后续根据这些case补充了负面提示词库、调整了分镜模板中的时长上限、增加了两道校验规则。一个直观的变化是系统生成的视频被人工打回重做的比例从初期的31%降到了7%左右。数据闭环的价值不是一次性优化而是让系统每周都比上周更“懂”自己的错误。6. Harness工程化的落地AI测试、代码Review与视频巡检6.1 用多模态Agent做视频巡检自动发现穿帮帧并触发重生成工程化做到后期团队开始引入AI Agent来提升自动化程度。最简单的落地场景是视频质检。以前质检画面是否变形的逻辑是“抽取相邻帧算相似度”这个方法对突发性画面跳变有效但对“商品颜色整体偏色”这类缓慢变化并不敏感。后来我们做了一个多模态巡检Agent它手里有几个工具目标检测服务、OCR服务、CLIP打分服务、LLM裁判接口。收到视频后Agent先抽帧调用检测服务确认商品主体位置再调用OCR检查字幕文字最后把商品卡、字幕、画面描述一起交给LLM做一致性判断。如果某帧被判定为穿帮或属性不一致Agent就会给出“重生成建议”。这个Agent本质上是把第一节到第五节讲到的规则封装成一个可以组合调用的工具集。它不会比单独跑规则跑得快但它让整个链路具备“按需调度”的能力异常帧走异常帧的修复通道低置信度case才升级到人工。6.2 AI自动生成测试用例与自动ReviewHarness的日常实践很多团队对“AI写测试用例”停留在尝鲜阶段我们是真的把它用在了流水线上。做法是把每个模块的输入输出结构定义清楚然后交给LLM自动生成测试用例。比如“分镜脚本生成模块”的输入是一张商品卡输出是一段分镜JSONAgent会根据接口契约生成正常样本、缺字段样本、枚举越界样本自动跑断言检查模块是否处理了异常情况。代码Review这块也做了AI辅助。每次提交的改动会先被Agent扫描重点检查三类问题是否存在敏感词或极限词、Prompt模板字段是否有拼写错误、新引入的依赖是否影响现有任务队列的稳定性。这里有个重要心得Agent的Review只能作为“第一道滤网”对于涉及资金、合规、用户隐私的改动必须人工二次确认。Agent的价值是减少重复性的人力消耗而不是替代人的判断。6.3 Agent不是银弹置信度、人工复核与灰度发布最后说点清醒的话。引入AI Agent之后团队容易产生一种“系统已经很智能了”的错觉这是危险的。Agent同样会有误报和漏报比如把某些正常的光影变化误判为“颜色不一致”或者漏掉一个明显的手部畸形画面。我的做法是给巡检Agent的输出加一个置信度分数高置信度直接自动重生成中置信度进入待确认队列低置信度彻底不采纳。灰度发布也是必须的。任何新的巡检规则、新的生成模型参数先在10%的商品流量上跑24小时观察人工打回率和用户投诉率再决定是否全量。这套保守策略看起来慢但在生产环境里少一次批量事故比多跑一天实验有价值得多。如果你也要做类似的电商视频生成系统我最大的建议是别把所有希望押在“更聪明的模型”上把更多精力花在输入结构化、生成流水化、评测自动化和反馈闭环上。模型的聪明程度决定质量上限工程化的严谨程度决定交付下限。而对于批量生产系统来说保住下限永远比冲击上限更紧急。一个能每天稳定产出、偶尔出小错的系统比一个偶尔惊艳、经常罢工的Demo更能让业务跑下去。