多模态大模型实战3

第3章 CLIP深度解析——视觉-语言对齐的基石

学习目标

1. 理解CLIP的双编码器架构和对比学习训练目标
2. 掌握CLIP推理实战：零样本分类、图文检索
3. 了解CLIP的变体和改进方向
4. 认识CLIP的局限性

3.1 CLIP架构详解

CLIP（Contrastive Language-Image Pre-training）是OpenAI在2021年提出的视觉-语言对齐模型。它是几乎所有后续VLM的基础组件。

双编码器架构

图像 → Image Encoder → 图像特征 [1, dim] ↘ 对比学习 → 对齐空间 ↗ 文本 → Text Encoder → 文本特征 [1, dim]

• Image Encoder：ViT（Vision Transformer）或ResNet
• Text Encoder：Transformer（类似GPT的因果注意力）

核心思想

CLIP不