准备录制cs336-assign 1,下午和朋友讨论了一下
上班
梳理了CLIP,image encoder采用的是ViT或者是resnet,text encoder采用的是transformer的decoder(mask attention换成了自注意力机制)
llava 就是极简风,视觉层接一个线性层(投影层,我习惯叫它对齐层)就接入llm。进行指令微调。llava1.5就是将图片更好的处理,使用高分辨率的图像并全局和局部融合,llava1.6则是采用了更好的融合策略,而且对分辨率没有要求(这里感觉有点像qwen2.5-vl 动态分辨率的雏形)