多模态大模型实战4

第4章 VLM架构设计——从LLaVA到Qwen2.5-VL

学习目标

1. 掌握拼接式VLM的标准架构（视觉编码器 + 投影层 + LLM）
2. 理解LLaVA的两阶段训练流程
3. 了解主流VLM的架构差异和设计选择
4. 实战：用LLaVA推理完成多模态任务

4.1 VLM标准架构

拼接式VLM的标准架构由三个模块组成：

┌─────────────┐ ┌──────────────┐ ┌─────────────┐ │ 视觉编码器 │────→│ 投影层 │────→│ LLM │ │ (CLIP ViT) │ │ (MLP/Q-Former)│ │ (Mistral等) │ └─────────────┘ └──────────────┘ └─────────────┘

视觉编码器

提取图像特征，几乎都用CLIP的ViT变体。