clip简单过一遍

就是图文对然后编码计算得到文本向量和图像向量之后计算相似度。训练的目的就是使得对角线上的损失是最小的然后如何将clip用于分类任务其实就是将类别直接填入提示词中这是一个模板直接就构成一个分类器了推理阶段输入图像然后和这些类别的文本向量进行计算看和谁的相似度最高损失计算clip使用对称的对比损失实际是两个交叉熵损失损失1图像-文本 给定图像I预测正确的文本损失2文本-图像给定文本T预测正确的图像将两部分损失加起来反向更新同时更新 文本编码和图像编码的参数clip损失计算不管那么多细节了就是找个损失就是计算了文本和图像之间的相似度对于这个矩阵来讲N*N只需要计算一次就行。横着看就是文本对图像的相似度竖着看就是图像对文本的相似度。然后在计算的时候是使得正对角线的上的相似度尽可能大其他的尽可能小是要看全局的。这个全局指的还是一个行或者是一个列这个损失就是会计算。这个zi,j会去1和-1那么当ij相等的时候就是1这个时候就希望相似度高这样log得到的数值就小损失就小