前言随着模型的不断迭代大模型的能力越来越强处理范围也越来越丰富。Nano-Banana、Sora等模型在音视频理解、生成的能力令人咋舌。那么多模态到底比文本大模型多了什么为什么加了图像、音频、视频后模型就更“聪明”了它的架构、训练方式和文本 LLM 有什么本质差异一、什么是多模态大模型文本大模型LLM只处理文字序列。多模态大模型MLLM能同时处理图像、文本、音频、视频、传感器信息等多种输入。更简单的理解文本 LLM 是“语言专家”。多模态 LLM 是“世界理解专家”。因为真正的现实世界不是文本而是视觉、声音、动作。二、核心区别输入形式不同只能读“句子” vs 能读“世界”•文本 LLM输入永远是token 序列词、子词、字符。•多模态 LLM输入是多种编码后的向量序列例如模态原始输入转换方式编码器图像像素矩阵Vision EncoderViT, CLIP, SigLIP…视频帧序列时空编码器TimeSformer 等音频波形 / 频谱图音频编码器Whisper-style文本token文本 tokenizer多模态 LLM 必须让所有“非文本信息”最终变成向量再与语言模型对齐。模型结构不同单塔 vs 双塔 / 多塔结构•文本模型结构几乎都是Transformer 单体架构。•多模态模型结构基本都包含✔️1独立的视觉编码器 Vision Encoder作用把图像转换成视觉 embedding• ViT• CLIP• SigLIP• Qwen2-VL 使用的 Resampler Vision Tower• LLaVA 使用预训练 CLIP✔️2特征对齐层Projector / Q-Former这是多模态最关键的部分文本模型里没有。为什么需要因为视觉 embedding 维度、分布、粒度都和文本 embedding 完全不一样需要「翻译」成语言模型能理解的格式。典型方式• 线性投影LLaVA 1.0• 多层 MLP• Q-FormerBLIP2• MoE Projector最新大模型趋势✔️3语言模型 LLM最终仍由 LLM 输出文本。也就是说多模态 LLM Vision Encoder Projector LLM文本 LLM 只有 LLM训练方式不同LLM 从头训练多模态必须“分阶段”文本大模型只需要两个阶段1. 预训练学习语言2. 微调对齐任务但多模态 LLM 至少需要三阶段推理方式不同文本是“token-by-token”多模态还需“预处理与融合”文本推理读取 token → Transformer 计算 → 输出下一个 token多模态推理Vision Encoder 先跑一次开销大图像 embedding 输入语言模型LLM 才开始生成文本进一步造成几个特点 多模态延迟比文本更大因为 Vision Encoder通常是 ViT-L/ViT-H计算量巨大。 内存更大Vision embedding 往往是• 数百个 patch• 每个 patch 10244096 维远大于一个文本 token 的向量。 工程优化更难因此出现大量“视觉 KV-Cache”“视觉 token 压缩”等技术。能力边界不同文本 LLM 语言多模态 现实世界文本 LLM 的能力范围• 语言理解• 基于文本的知识• 推理数学、逻辑• 代码• 问答• 写作• 对话多模态 LLM 的能力范围扩展为✔️ 视觉理解✔️ 空间关系推理✔️ 场景识别✔️ OCR 图表理解✔️ 文档理解✔️ 视频/动作理解✔️ 多模态工具使用视觉 RAG、视觉 Agent最典型例子文本 LLM 能描述“如何修水龙头”但多模态 LLM 能“看着你家的水龙头告诉你怎么修”。三、以VLLM实际举例对比典型结构Image Vision Encoder Projector Alignment LLM Decoder Text Tokenizer Embedding Output对比对象是一个“正常的纯文本 LLM”比如 GPT / Qwen / LLaMA 类。下面所有对比都以“图像文本”的 VLLMViTLLM vs 纯文本 LLM为主线。1. 输入层对比文本 LLM只有 tokenizer• 输入字符串• 处理tokenizer →token_id序列• 再查embedding_matrix[token_id]→ 得到text_embedding直接送入 Transformer。VLLMViT LLM多了一条视觉编码支路图像路径输入图像H × W × 3像素ViT 做的事情• 把图像切成 patch比如16×16的小块• 每个 patch 展平成向量再乘线性层 →d_model维• 加上 2D 位置编码patch 在图像中的位置• 多层 Transformer Encoder 处理得到一串视觉 tokensplaintext[v_1, v_2, …, v_N] # N 通常是多个 patch 数量比如 196, 256, 576…Projector / 对齐层• 把[v_i]从 “ViT 的空间” 投影到 “LLM 的 embedding 空间”• 可能是• 简单线性层• 多层 MLP• Q-Former再套一层小 Transformer• 得到最终要送进 LLM 的视觉 tokensplaintext[V_1, V_2, …, V_M] # M 可以等于 N也可以被池化/压缩后更少文本路径• 和纯文本 LLM 一样tokenizer → embedding →T_1, ..., T_L最后的输入序列[BOS, V_1, V_2, ..., V_M, SEP, T_1, T_2, ..., T_L]关键差异 1文本 LLM 的输入全是 “词向量”VLLM 的输入是一串“视觉 patch 向量 文本 token 向量的混合序列”。2. 模型结构对比文本 LLM单塔 Transformer 解码器典型结构Embedding N Decoder Blocks LM Head Next Token Distribution每个 block • Self-Attention• FFN• 残差 NormVLLMViT LLM至少是 “双塔 对齐”从整体上看图像塔 ViT 编码器 对齐层 Projector 或 QFormer 语言塔 LLM 解码器 文本 Tokenizer区别点多了一个 Vision Encoder 塔• ViT 通常是纯 Encoder• LLM 是 Decoder-only• 两者参数量、结构、训练数据完全不同中间多了一层 “模态对齐”• 文本 LLM 不需要对齐只要 embedding table 一致• VLLM 必须解决“图像特征空间” 和 “语言 embedding 空间” 如何对齐到可以一起 Self-AttentionLLM 内部结构本身可以与纯文本保持一致• 多数开源多模态模型就是“拿现有 LLaMA/Qwen 当语言底座前面接 ViTprojector”• 这也是为什么• 你可以 “给任意 LLM 接一个视觉头变成 VLLM”• 也可以只替换底座 LLM视觉侧不动迅速升级多模态能力。关键差异 2文本 LLM 是“一条链路”VLLM 是“图像塔 对齐模块 语言塔”的组合系统。3. 训练流程对比文本 LLM两阶段预训练 指令微调语言预训练大规模文本自回归预测下一个 tokenSFT / DPO / RLHF 等对齐训练• 指令数据• 对话数据• 偏好/奖励模型VLLMViT LLM至少三阶段甚至 4 阶段以典型“ViT LLaMA”类 VLLM 为例阶段 1单独训练 Vision EncoderViT• 数据图像分类、图文对比CLIP 风格等• 目标让 ViT 真正能提取语义相关的视觉特征• 输出一个“会看图”的视觉 backbone阶段 2模态对齐Projector / Q-Former 训练目标是让ViT(图)的输出能和 LLM 的 token 序列混在一起仍然讲得通。常见训练方式• 图文匹配/对比ITC/ITM• “看图写一句话”Image Caption• 对齐损失MSE / Cosine / CLIP 对比损失在这一步ViT 通常会 frozen主要训练 projector / 对齐层以防破坏已经学好的视觉特征。阶段 3多模态指令微调Multimodal SFT数据形态大致是image, 文本指令 → 答案多模态指令数据如• 看图问答• 文档 提问• 图表 提问• “圈选框 说明某个区域内的内容”• OCR 推理• “看一张报告给出结论”在这阶段• LLM 权重、投影层都参与训练• 有时 Vision Encoder 也会 partial unfreeze 做微调可选阶段 4对齐 RL 类过程• 多模态版本的 DPO / RLHF• 人类偏好• 不要幻觉• 不要编图像不存在的信息• 更关注图中关键区域关键差异 3文本 LLM 是“单模态一条链路的训练”VLLM 则是“视觉预训练 → 模态对齐 → 多模态 SFT →可选对齐”的多阶段训练中间每一步都可能出错、都要单独调。4. 推理阶段对比延迟 内存 工程复杂度文本 LLM 推理输入 tokens 一次性编码 token-by-token 解码 输出优化集中在• KV-Cache• FlashAttention• 量化• 推理引擎vLLM / SGLangVLLMViT LLM推理图像 ViT 前向 图像 embedding projector 视觉 tokens 文本 tokenizer 文本 tokens 序列拼接 LLM 解码 输出多了几个消耗点ViT 前向开销—— 一张图可能就相当于几百个 token 的计算量视觉 tokens 很长—— 比如 224×224 分成 16×16 patch有 196 个 patch每个 patch 一个 token在 LLM 的 Self-Attention 里视觉 tokens 和文本 tokens 都要计算注意力工程上还要考虑• 视觉 KV-cache• 视觉 token 压缩只保留关键信息• 多图/视频长序列时的分段处理关键差异 4纯文本 LLM 的推理只考虑“语言 token”VLLM 要同时处理“图像文本 token”前向路径更长、内存压力更大、优化难度更高。四、总结如果说文本大模型是只看书不看世界的语言专家那么以 ViT LLM 为代表的多模态大模型就是眼睛 大脑一体化的世界理解引擎在架构上它多了一整条视觉编码支路ViT并通过模态对齐模块把图像特征翻译成语言世界能理解的“视觉 token”在训练上它不仅要学会说话还要学会“看图”和“图文对齐”训练流程从两阶段升级成多阶段在推理上它需要同时处理图像和文本带来更高的计算开销也推动了视觉 token 压缩、视觉 KV-Cache 等新一轮工程创新。文本 LLM 解决的是“读书人的问题”多模态 LLM 则开始真正走向“现实世界的问题”。如何学习AI大模型如果你对AI大模型入门感兴趣那么你需要的话可以点击这里大模型重磅福利入门进阶全套104G学习资源包免费分享这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】这是一份大模型从零基础到进阶的学习路线大纲全览小伙伴们记得点个收藏第一阶段从大模型系统设计入手讲解大模型的主要方法第二阶段在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段以SD多模态大模型为主搭建了文生图小程序案例第七阶段以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。100套AI大模型商业化落地方案大模型全套视频教程200本大模型PDF书籍学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。LLM面试题合集大模型产品经理资源合集大模型项目实战合集获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】