简介基于深度学习的视觉问答系统毕业设计项目面向计算机相关专业学生适合作为毕业设计、课程设计或期末大作业。资源以Python为主要编程语言围绕视觉问答任务展开从图像输入、特征提取、多模态融合到答案预测形成完整流程涉及ResNet/VGG等图像特征网络、MFH/CSF等融合模型以及数据处理、模型训练、预测与评估等多个模块并配有COCO数据集样例图片和运行日志便于对照理解。压缩包共69个文件核心为33个Python源码脚本涵盖数据预处理、模型定义、训练测试等环节另含17个log日志文件用于查看训练动态12个pyc编译文件便于调用以及答辩PPT、说明文档、示例图片等辅助资料整体大小仅2.37MB轻量但结构完整。项目经导师指导并调试通过可直接运行或作为毕业设计基线也方便二次开发已有874人学习下载尤其适合正在准备毕设或需要实战练习的深度学习初学者。1. 视觉问答系统不是“看图说话”先想清楚毕业设计题目的边界拿到“基于深度学习的视觉问答系统”这个毕业设计题目时很多人先想到的是去下载源码、配环境、跑通然后截图写论文。可是真正到了答辩环节老师的第一句话往往是“你的视觉特征和文本特征是在哪一层融合的”而不是“准确率是多少”。所以这篇内容把视觉问答系统从头到尾该想清楚的事情按顺序讲一遍任务定义、图像与文本特征抽取、融合结构、训练参数以及最后如何把实验结果变成文档和答辩PPT里的支撑材料。任务本身不复杂输入一张图像和一句自然语言问题输出简短答案。但中间的多模态对齐、数据偏置和评价指标三个难点会直接决定项目是“跑通”还是“做完了”。2. VQA系统设计选型图像、文本和融合方式先定后面才不返工做视觉问答系统最容易犯的错误是一上来就写模型。数据都还没有组织好模型结构就已经换了三次。正确顺序应该是固定任务输入输出格式再选特征层最后才是融合层。这一轮选型会直接影响后面的所有代码和实验安排值得用半天时间想清楚。常见的毕设方案是图像端用 ResNet文本端用 LSTM融合端用注意力机制。这个组合不算新但足够完整方便你在此基础上做改进和消融实验。2.1 一个VQA样本包含什么图像、问题、答案三元组VQA 数据集的每个样本由三部分组成图像、问题、答案。问题是一句自然语言比如“这个男孩在做什么”。答案可以是单个词、短语或者“是/否”。毕业设计里最常见的做法是把答案当作分类标签统计训练集所有答案的出现次数保留最高的 500 到 2000 个作为候选答案集最后一层用 softmax 输出这些候选类别的概率。这个方案的好处是实现简单坏处是答案频率不平衡导致模型学到“看到 how many 就回答 2”这类捷径。另一个需要提前定下来的点是语言。如果直接使用英文的 VQA 2.0 数据集可以省掉很多中文分词的麻烦如果要做中文 VQA一定要先跑通英文子集再考虑数据翻译或标注。不要一开始就自己造中文数据集否则词表、答案集合、训练时间的复杂度会同时爆炸。一个我能给的建议是先下载一个裁剪后的英文子集比如类别均衡的子集先把训练流程跑通再在论文里说明“后续工作可以扩展到中文”。2.2 图像端特征ResNet全局特征还是Faster R-CNN区域特征图像特征抽取有两条路线。第一条是用 ResNet、VGG 这类卷积网络输出整图的全局特征图像被压缩成单个向量。第二条是用 Faster R-CNN 这类目标检测模型输出区域特征图像被表示为多个物体的局部向量。区域特征对细粒度问题更友好因为模型可以知道“红色衣服”和“呼啦圈”分别出现在图像哪个位置但 Faster R-CNN 的配置和训练成本高对显卡显存和检测标注都有要求。我建议毕业设计先用 ResNet18 或 ResNet50 做基线。理由有三条第一torchvision 里直接提供 ImageNet 预训练权重加载一行代码第二全局特征会让模型结构更简单训练速度更快第三答辩时解释注意力机制时区域数量越少越容易画图说明。等基线达到合理分数后再把全局特征和区域特征做对比实验这种“由简到繁”的过程本身就是论文里的工作量。下表是两种方案的取舍参考方案输出形状参数量训练成本使用场景ResNet18 全局均值(batch, 512)较低低快速验证融合方法ResNet50 全局均值(batch, 2048)中中提升图像表征Faster R-CNN 区域特征(batch, 36, 2048)高高细粒度 VQA 或跨模态推理从上表可以看出区域特征的信息粒度更细但模型输入从单向量变成序列之后融合层的设计也要跟着变复杂度不是线性上升而是跳跃式上升。如果时间只有六到八周请坚定地选第一行。2.3 文本端与融合层LSTM容易理解注意力机制是重点文本端最稳的做法是将问题分词后输入 LSTM。不要一上来就上 BERT虽然 BERT 效果更好但会引入额外的预训练权重加载和显存开销而且你必须解释清楚为什么小数据量下 BERT 不明显优于 LSTM。LSTM 配合 Embedding 层把每个问题编码成一个固定维度向量这个向量再和图像特征做融合。融合这件事最简单的做法是把两个向量拼接后过全连接层但这种方法很难对齐“问题里某个词”和“图像里某个区域”所以答辩时也很难讲出亮点。注意力融合是视觉问答系统的核心。下面这段代码是常见实现核心思想是让问题向量对图像区域做加权平均而不是直接把整张图压平。代码里图像特征被假定为(batch, num_regions, image_dim)问题特征是(batch, question_dim)import torch import torch.nn as nn import torch.nn.functional as F class AttentionFusion(nn.Module): def __init__(self, image_dim512, question_dim512, attn_dim256): super().__init__() self.image_proj nn.Linear(image_dim, attn_dim) self.question_proj nn.Linear(question_dim, attn_dim) self.tanh nn.Tanh() self.attn_linear nn.Linear(attn_dim, 1) def forward(self, image_features, question_features): # image_features: (batch, num_regions, image_dim) # question_features: (batch, question_dim) q self.question_proj(question_features).unsqueeze(1) v self.image_proj(image_features) u self.tanh(v q) a self.attn_linear(u).squeeze(-1) attn F.softmax(a, dim1) attended (image_features * attn.unsqueeze(-1)).sum(dim1) return attended, attn这里的v q是广播操作让每个图像区域都看到同一个问题向量attn_linear再输出一个标量表示该区域和问题的相关程度。经过 softmax 后得到权重最后对图像特征加权求和。理解到这个程度你已经可以回答答辩老师关于特征融合的大部分问题了。更复杂的 MCAN、BAN 模型也都是在注意力权重上做文章只是把单层注意力换成多层堆叠。3. 用PyTorch搭建视觉问答系统基线从数据加载到模型前向选型确定后下一步是把数据流打通。视觉问答系统的数据加载比普通分类复杂因为它有两个输入模态而且问题的长度是可变的。最容易卡住的地方不是模型定义而是DataLoader里如何把不等长的问句拼成一个 batch。先把数据实现做好模型本身反而简单。3.1 数据预处理与词表构建的顺手做法假设你已经把 VQA 数据整理为三份图像路径列表、问题文本列表、答案标签列表。构建词表时按词频过滤只保留出现次数大于等于 3 的词再添加pad和unk两个特殊符号。答案标签同理把训练集答案按频率排序保留前 1000 个类别。图像预处理固定为Resize(224)ToTensor() 标准化标准化系数使用 ImageNet 的均值[0.485, 0.456, 0.406]和方差[0.229, 0.224, 0.225]否则预训练权重的输入分布会被改变。下面的VQADataset实现了一个最小可用版本问题通过外部传入的tokenizer转换为 id 序列pad_sequence则在collate_fn中处理from torch.utils.data import Dataset from PIL import Image import torch class VQADataset(Dataset): def __init__(self, image_paths, questions, answers, tokenizer, answer_to_idx, transformNone): self.image_paths image_paths self.questions questions self.answers answers self.tokenizer tokenizer self.answer_to_idx answer_to_idx self.transform transform def __getitem__(self, idx): image Image.open(self.image_paths[idx]).convert(RGB) if self.transform: image self.transform(image) question torch.tensor(self.tokenizer(self.questions[idx]), dtypetorch.long) if self.answers is not None: answer torch.tensor(self.answer_to_idx[self.answers[idx]], dtypetorch.long) return image, question, answer return image, question在collate_fn中需要对question列表调用pad_sequence(batch_questions, batch_firstTrue, padding_value0)。padding_value0对应pad的索引这样 Embedding 层计算时不会把 padding 位置计入语义。3.2 定义模型结构ResNetLSTMAttentionFusion 的完整代码模型整体由三部分组成图像编码器、问题编码器、融合分类器。为了控制训练时间图像编码器使用冻结参数的 ResNet18只有最后的全局平均池化层输出被使用。问题编码器选用双层 LSTM取最后一层最后一个时间步的隐状态作为整句表示。融合层则直接复用 2.3 中定义的AttentionFusion最后接两层全连接输出答案类别。import torch.nn as nn from torchvision import models class VQAModel(nn.Module): def __init__(self, vocab_size, num_answers, embed_size300, hidden_size512): super().__init__() backbone models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) self.image_encoder nn.Sequential(*list(backbone.children())[:-1]) for p in self.image_encoder.parameters(): p.requires_grad False self.embedding nn.Embedding(vocab_size, embed_size, padding_idx0) self.rnn nn.LSTM(embed_size, hidden_size, num_layers2, batch_firstTrue, dropout0.3) self.fusion AttentionFusion(image_dim512, question_dimhidden_size, attn_dim256) self.classifier nn.Sequential( nn.Linear(512 hidden_size, 512), nn.ReLU(), nn.Dropout(0.5), nn.Linear(512, num_answers) ) def forward(self, image, question): img_feat self.image_encoder(image) # (batch, 512, 1, 1) img_feat img_feat.view(image.size(0), -1) # (batch, 512) img_feat img_feat.unsqueeze(1) # (batch, 1, 512) emb self.embedding(question) # (batch, seq_len, embed_size) _, (hidden, _) self.rnn(emb) q_feat hidden[-1] # 最后一层最后时刻 attended, attn self.fusion(img_feat, q_feat) combined torch.cat([attended, q_feat], dim1) return self.classifier(combined), attn这段代码里有个值得注意的细节图像特征被unsqueeze成(batch, 1, 512)这样注意力融合里的区域数量就是 1。虽然只有一个区域权重没有意义但好处是代码结构可以直接复用如果以后引入 Faster R-CNN只需要把img_feat换成(batch, num_regions, 2048)融合层不用改。如果想在基线上进一步提高可以去掉unsqueeze直接把全局特征复制成多个区域特征模拟检测框这也是部分论文的做法但提升有限。3.3 损失函数与优化器选择问题被建模为多分类任务所以损失函数用nn.CrossEntropyLoss。优化器选择 Adam初始学习率设1e-3同时使用ReduceLROnPlateau监控验证集准确率当指标停滞两个 epoch 时学习率乘以 0.5。批量大小根据显存调整8GB 显存可以设置 64如果跑不动就降到 32。训练过程中需要保存验证集上准确率最高的权重不能只看训练损失否则容易把最后一个过拟合的模型拿去答辩。4. 视觉问答系统训练与评估必调参数和三个最容易翻车的细节训练阶段真正的难点不是让 loss 下降而是让验证集准确率稳定且可解释。VQA 数据集的答案分布极不平衡一个只猜“是”或者“2”的模型在简单子集上也能获得不错的分数。因此训练时要同时关注整体指标、问题类型指标和可视化结果三个维度缺一不可。4.1 一组可以直接上手的超参数下面这组参数适用于 VQA 2.0 的子集或者自建的小型数据集图像分辨率 224问句长度截断到 20字节数为 5000 词。表格里的数值是常见起点不是唯一正确答案参数推荐值调整方向batch size32-64显存不够时优先调低learning rate1e-3两轮不降则改为 5e-4question max len20超过 95% 问题就可以截断embed_size300可调至 512但收益递减hidden_size512文本端容量LSTM layers2调大容易过拟合dropout0.3-0.5小数据取 0.5epoch20-30早停 patience4训练时把weight_decay设为1e-5这样可以在不显著影响 train loss 的情况下降低验证集波动。如果发现冻结的 ResNet 特征不够用不要立刻解冻先尝试把 LSTM 的 hidden_size 调大这个改动对显存影响更小。4.2 训练循环骨架与早停逻辑训练代码应该固定为一种模式训练循环、验证循环、保存最优权重、早停。下面是一段可以直接套用的骨架里面包含验证准确率计算占位函数import torch import torch.nn as nn from torch.optim import Adam, lr_scheduler model VQAModel(vocab_sizelen(word_vocab), num_answerslen(answer_vocab)) optimizer Adam(model.parameters(), lr1e-3, weight_decay1e-5) criterion nn.CrossEntropyLoss() scheduler lr_scheduler.ReduceLROnPlateau( optimizer, modemax, factor0.5, patience2) best_acc 0 best_epoch 0 for epoch in range(30): model.train() for images, questions, labels in train_loader: output, _ model(images, questions) loss criterion(output, labels) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() val_acc compute_accuracy(model, val_loader) # 自己实现 scheduler.step(val_acc) if val_acc best_acc: best_acc val_acc best_epoch epoch torch.save(model.state_dict(), best_vqa_model.pt) if epoch - best_epoch 4: print(fearly stop at epoch {epoch}) breakcompute_accuracy需要额外实现注意验证时要用torch.no_grad()包住前向计算否则显存很快耗尽。我一般会在验证循环里顺便统计“是/否”这类二值问题的准确率因为这类问题占比高单独拿出来看能判断模型是否在走捷径。4.3 三个容易翻车的细节冻结、归一化、数据偏置第一个细节是冻结参数的时机。图像编码器冻结后如果数据集的图像风格和 ImageNet 相差很大比如医学影像或手绘图底层的边缘特征依然适用但深层语义特征不适用。这种情况下可以只冻结 ResNet 前两层让最后两层参与训练。第二个细节是归一化。图像必须先用 ImageNet 统计量做标准化再送进预训练模型有些同学把归一化放在模型内部导致保存的权重和测试时行为不一致。第三个细节是数据偏置也就是模型不依赖图像也能回答一部分问题。验证方法是写一个“只输入问题不输入图像”的简化模型把它的准确率和完整模型对比。如果两者差距小于 5%说明图像分支几乎没有贡献这时要么调整融合方式要么检查图片路径是否加载错误。5. 给视觉问答系统加可视化Grad-CAM和答辩素材整理模型跑通之后下一步不是急着写论文而是先让模型“说清楚自己为什么这么回答”。一个能可视化注意力权重的系统在毕业设计答辩中远比一个光秃秃的准确率数字有说服力。5.1 用Grad-CAM显示模型关注区域Grad-CAM 是常用的可视化方法思路是对最后预测分数做反向传播利用对图像的梯度生成热力图。对视觉问答系统来说你不需要对每一层都做精确的 CAM只要证明模型确实在用图像信息回答问题即可。下面是一个简化实现直接对输入图像计算梯度import torch import torch.nn.functional as F def grad_cam_approximation(model, image, question, target_class): model.eval() image.requires_grad_(True) output, _ model(image, question) score output[0, target_class] score.backward() grad image.grad.squeeze(0) # (3, 224, 224) heatmap grad.abs().mean(dim0) # 对通道取平均 heatmap F.relu(heatmap) heatmap heatmap / (heatmap.max() 1e-8) return heatmap.detach().cpu().numpy()需要说明的是这里用的是近似 Grad-CAM严格做法是挂一个forward_hook在最后一个卷积层上取特征图梯度。毕业设计中使用近似版本也能展示模型大概看了哪里但在论文里要标注清楚这是简化实现。把热力图叠加到原图上选择三个问题展示一个回答正确且热力图集中在目标区域、一个回答错误但热力图合理、一个回答错误且热力图完全分散。这三张图放在答辩 PPT 里既是实验分析也是和老师讨论改进方向的素材。5.2 答辩PPT只用六页支撑材料建议按这样的结构准备素材第一页放图像和问题的数据样例第二页画模型结构图第三页放训练损失和验证准确率曲线第四页放消融实验表格例如“带注意力 vs 不带注意力”第五页放 Grad-CAM 可视化第六页放错误分析。代码截图最多放一张尽量用绘图代替源码老师更关心设计思路。5.3 文档里的验证命令和可复现性写法在项目 README 或文档说明里写清数据目录结构、Python 和 PyTorch 版本、训练启动命令、测试命令。提供一个单张图片推理脚本会让答辩演示轻松很多python test_single.py \ --image samples/demo.jpg \ --question what color is the car? \ --model_path checkpoints/best_vqa_model.pt脚本输出预测答案以及答案概率分布顺带生成刚才的 Grad-CAM 热力图。把requirements.txt固定到主版本号比如torch2.1.2再把训练时的随机种子写进文档这样即使换一台电脑复现结果波动也不会太大。把这些可复现的细节放进附录答辩时不管老师从哪个角度追问对应的操作记录都可以直接拿出来支撑你的结论。本文还有配套的精品资源点击获取