开放词汇 图像识别

性能标杆SigLIP2 与 DFN 系列如果追求极致的通用识别准确率尤其是ImageNet零样本分类这种基准测试上的顶尖表现目前最领先的是SigLIP2系列模型。根据OpenCLIP的公开排行榜当前ImageNet零样本准确率的最高纪录由PE-Core-bigG-14-448(85.4%) 和ViT-gopt-16-SigLIP2-384(85.0%) 等模型保持。它们代表了目前CLIP架构在通用视觉任务上的最强性能。⚡️ 效率与性能的平衡MobileCLIP2如果你的应用场景对模型体积和推理速度有要求比如移动端或边缘设备那么MobileCLIP2是值得关注的方案。它的核心优势在于用更小的参数和更低的延迟达到了与超大模型相近的性能。例如MobileCLIP2-S4的规模是SigLIP-SO400M/14的一半但ImageNet准确率与之持平而延迟仅为后者的2.5倍即快得多。能力增强的变体LLM2CLIP 与 ReasonCLIP还有一些模型在标准CLIP的基础上通过融合大语言模型LLM或引入推理监督信号来增强理解复杂文本或进行逻辑推理的能力。LLM2CLIP通过将大语言模型LLM嵌入到预训练的CLIP中在几乎没有增加训练成本的情况下显著提升了对长文本、复杂描述的理解能力并在检索、分割等任务上表现优异。ReasonCLIP它专门针对CLIP在“视觉常识推理”和“组合式推理”方面的不足进行改进通过大规模推理监督训练让模型能更好地理解“小狗的正面”这类需要空间和逻辑关系判断的查询。