BLIP & BLIP-2 超详细入门解析
1 BLIP / BLIP-2 是干嘛的?
1.1 基础概念
两者都是图文多模态大模型,核心能力:
- 图片描述(看图说话 Image Caption)
- 图文匹配(图和文本是否对应)
- 视觉问答 VQA(给图+提问,AI看图回答)
- 图文检索(用图搜文字/文字搜图)
1.2 BLIP(初代)vs BLIP-2(升级版)核心区别
| 模型 | 架构思路 | 特点 | 适用场景 |
|---|---|---|---|
| BLIP | 单阶段统一图文编码器,轻量一体化 | 小模型、推理快、训练简单 | 简单看图说话、轻量VQA |
| BLIP-2 | 两阶段分拆:冻结预训练视觉编码器 + 冻结大语言模型 + 中间Q-Former桥接模块 | 更强理解、能理解复杂图文、支持大LLM | 复杂问答、长文本描述、复杂推理 |