在早些年AI大多是“单科生”翻译模型只处理文字语音模型只处理声音图像模型只看懂图片各个系统互相独立井水不犯河水。而现在我们使用的大模型可以做到上传一张图片让它解读内容丢一段录音自动转写并且分析录音观点输入文字直接生成图片、短视频。这就是多模态AI。很多人只知道多模态很好用但并不明白背后到底发生了什么。本篇继续保持大白话不讲复杂算法讲清多模态的底层逻辑、能力边界以及普通人日常可以拿来干什么同时分清哪些是真多模态哪些只是工具简单拼接。01、什么是模态什么是多模态AI模态人话解释信息的载体形式。文本模态文字、对话、文档图像模态照片、截图、手绘、图表音频模态人声录音、对话、音效视频模态由大量图片帧音频组合而成。单模态AI只能接收、输出其中一种信息。早期聊天模型只能读文字老的识图工具只能看图不能用自然语言回答你的问题。多模态AI可以同时接收、理解、输出多种不同载体的信息并且实现互相转换。简单说既能读字、又能看图、能听声音还可以文字转图片、图片转文字、语音转文案不同媒介之间互通。02、大白话理解多模态底层逻辑不同媒介完全不一样图片是像素点阵声音是声波波形文字是符号。计算机不能直接把图片、音频直接喂给原本的文本大模型。多模态模型里面有一套翻译转换器。打个比方有一个懂多国语言的翻译官。文字、图片、语音相当于不同国家的语言。图片、音频进来之后先经过转换器全部翻译成模型内部统一的“中间通用语言”再送入大模型主干网络进行理解、推理当需要输出图片或者语音的时候再把模型内部的通用信息反向翻译输出成图片、声音。关键点区分两个概念真正的多模态大模型图片、文字、音频信息进入同一个模型内部做融合理解。比如你上传一张表格截图提问“帮我算一下表格里面的总和”它看懂图片里表格直接做计算。图像、文字信息是真正融合在一起思考。工具拼接伪多模态只是把多个独立小工具硬拼在一起。先调用OCR识别图片得到文字再把文字丢给文本大模型。图片本身没有进入模型思考只是转成文字。一旦图片文字模糊、表格复杂就很容易出错。03、多模态常见四大能力结合普通人实操场景①图文理解看图说话解析截图、图表、照片输入图片输出文字分析。实操场景解读截图里的报错代码分析试卷照片解题解读图表数据看懂手写笔记分析产品实拍图找问题。小提示图片越清晰效果越好手写潦草、光线昏暗识别理解能力会大幅下降。②文生图、图生图文字描述生成图像基于原图修改画面输入一段文字描述生成插画、封面、草图上传一张参考图按照参考图风格再生成新图。实操场景自媒体封面、PPT配图、概念草图、故事插画。注意多模态模型画图不代表可以直接商用一定要看平台版权协议。人物手部、细节经常会出现崩坏需要反复迭代调整提示词。③音频模态语音转文字、听录音做分析上传录音不仅转写文字还可以直接分析录音内容提炼会议要点、分析说话人情绪、梳理对话矛盾点。实操场景会议录音整理、访谈录音复盘、网课音频梳理笔记。局限多人混杂说话、环境噪音很大的时候识别和理解效果会下滑。④视频理解看懂视频内容文字生成短视频片段视频本质是一连串图片加上声音。多模态AI可以读取视频片段总结视频讲了什么也可以输入文字生成短视频片段。实操场景短视频脚本转预览素材解析课程视频片段提取要点。现实短板目前完整长视频理解成本高AI直接生成高质量完整长视频依旧不成熟更多用来生成片段素材。04、多模态AI的短板不要过度神话对细节识别不稳定图片里细小文字、复杂表格、密密麻麻的数字很容易看错、读错涉及数据一定要二次核对图像生成经常逻辑错乱人物肢体、物体透视、数量经常出错AI画画适合做草图、灵感素材不能直接当完美成品长视频、长音频消耗资源高很多平台会限制时长太长的音视频需要分段处理依旧会产生幻觉哪怕是看图回答也会脑补图片不存在的信息不能无条件相信输出。05、普通人使用多模态的几条实操建议上传图片尽量保证清晰文字截图避免反光模糊遇到图表、数字截图AI给出结果之后尽量自己核对一遍数字AI生成图片、视频优先当作灵感素材、草稿人工后期修改再使用噪音大的录音尽量先做降噪再交给AI分析分清真多模态和简单工具拼接复杂图表、手写内容优先选用原生多模态大模型。全篇人话总结1、模态就是信息载体文字、图片、音频、视频多模态AI可以同时理解、转换多种载体信息。底层原理图片、音频会被转换成模型内部统一表征再送入大模型进行推理输出时再反向转换成对应媒介。区分真正多模态和工具简单拼接拼接模式在复杂场景容易翻车。四大常用能力图文解析、文生图、音频理解、视频处理各有对应的现实局限。多模态输出同样存在幻觉图片、音频分析结果关键信息务必人工复核。下一篇预告AI幻觉是什么为什么AI会胡说八道普通人如何规避、精准校验内容