简介本资源为国科大人机交互课程大作业的多模态情感识别完整工程包面向人机交互、情感计算方向的高校学生与自学者可用于课程设计、期末大作业、工程实训及毕业设计等场景。项目围绕脑电与眼电等多模态生理信号展开涵盖数据预处理、特征提取、模型训练与注意力机制建模等环节适合具备一定Python与深度学习基础的学习者复现与二次开发。压缩包共39个文件约548.29MB包含mat原始数据、pkl预处理数据集、py与ipynb源码脚本、jpg与png实验图表及md说明文档覆盖从数据到结果展示的完整链路。目前已有119人学习关注。资源提供完整源码与工程文件代码经测试可运行答辩评审平均分达96分读者可据此复现实验流程、借鉴设计报告结构并在此基础上扩展新功能适合开源学习与技术交流。1. 多模态情感识别大作业从「能跑」到「能过答辩」差在哪人机交互方向的多模态情感识别大作业几乎每年都有人卡在同一个地方模型在训练集上准确率冲到 95%答辩时老师问一句「换一段没见过的视频还能识别吗」现场演示直接翻车。这个标题背后要解决的不是「怎么调一个更高的准确率」而是怎么把文本、语音、面部表情三条模态的数据对齐、融合、跑通最后交出一个能复现、能解释、能扛住追问的课设或实训作品。它适合三类人正在赶人机交互课设 deadline 的本科生、做人工智能大作业需要多模态 demo 的研究生、以及实训阶段想拿一个完整 pipeline 练手的开发者。核心难点从来不在模型本身而在数据预处理的一致性、模态缺失时的降级策略、以及融合层到底该在哪一步拼接。下面按我实际做过几版的顺序把选型、代码、参数和踩过的坑一次讲清楚。2. 三条模态怎么选数据集、特征与对齐策略2.1 先定数据集再定模态组合多模态情感识别大作业最容易犯的错是先写模型再找数据。常见做法是先从公开数据集里选一个模态齐全的再决定用哪几条模态。我一般会按下面的优先级排数据集类型模态覆盖适合的作业规模注意点视频音频文本标注三模态齐全完整大作业体积大需提前裁剪音频文本双模态实训周级别缺少视觉答辩易被问纯文本表情标签单模态为主快速验证不算真正的多模态如果标题里明确是「多模态」至少要有两条模态参与融合否则答辩时很难自圆其说。视觉模态通常取面部关键点或表情特征语音取梅尔频谱或韵律特征文本取预训练词向量。三条模态的时间戳必须能对齐到同一个时间窗口这是后面所有融合操作的前提。2.2 特征提取的最小可运行代码下面这段是我常用的特征提取骨架文本、语音、视觉各走一条分支最后统一到固定长度的时间片。代码只保留关键逻辑实际项目里每条分支可以替换成更重的模型。import numpy as np def extract_text_feat(text, tokenizer, model, max_len32): # 文本分支tokenize 后取 [CLS] 向量作为句级表示 enc tokenizer(text, paddingmax_length, truncationTrue, max_lenmax_len, return_tensorspt) with torch.no_grad(): out model(**enc).last_hidden_state[:, 0, :] return out.squeeze(0).numpy() # shape: (hidden,) def extract_audio_feat(wav, sr16000, n_mels64, frames32): # 语音分支梅尔频谱后按时间轴重采样到固定帧数 mel librosa.feature.melspectrogram(ywav, srsr, n_melsn_mels) mel librosa.power_to_db(mel) idx np.linspace(0, mel.shape[1] - 1, frames).astype(int) return mel[:, idx].T # shape: (frames, n_mels) def extract_visual_feat(frames, face_detector, frames_out32): # 视觉分支逐帧检测人脸并提取关键点再插值到固定帧数 feats [] for f in frames: face face_detector(f) feats.append(face if face is not None else np.zeros(136)) feats np.array(feats) idx np.linspace(0, len(feats) - 1, frames_out).astype(int) return feats[idx] # shape: (frames_out, 136)逻辑说明三条分支都做了「变长到定长」的处理文本用 padding 和截断语音用时间轴重采样视觉用帧插值。参数上max_len、frames、frames_out必须三路统一否则后面拼接时维度对不上。n_mels取 64 是精度和显存的折中作业场景够用如果显存紧张可以降到 40但语音情感区分度会下降。2.3 对齐策略时间片切分比端到端更稳端到端多模态模型听起来高级但在课设规模的数据上极容易过拟合。我一般用「固定时间片 特征拼接」的方式把整段样本切成若干等长片段每个片段内三条模态各出一个特征向量拼成一个长向量送进分类器。这样做的代价是丢失了细粒度时序但换来的是可解释性和调试便利——哪条模态出问题单独看那一段的特征就能定位。对齐时要注意采样率差异。语音帧率通常远高于视觉帧率直接按最小帧率对齐会丢信息按最大帧率对齐又会引入大量重复。常见做法是统一到 10Hz 左右的时间片即每 100ms 一个决策点这个粒度对情感变化足够也不会让特征维度爆炸。3. 融合层怎么写拼接、注意力还是门控3.1 三种融合方式的取舍融合层是多模态情感识别的核心也是答辩老师最爱追问的地方。三种主流做法各有适用场景早期拼接三条模态特征直接 concat送进全连接。实现最简单适合模态质量均衡的情况但某条模态噪声大时会拖累整体。注意力融合用跨模态注意力让每条模态自己决定关注其他模态的哪些部分。效果好但参数量大课设数据量小的时候容易过拟合。门控融合给每条模态学一个权重动态决定贡献度。实现难度适中对模态缺失场景更鲁棒是我在作业里最常用的方案。选哪种取决于你的数据量和答辩要求。如果只是要求「跑通多模态」早期拼接足够如果想在报告里体现设计深度门控融合是性价比最高的选择。3.2 门控融合的可复现代码import torch import torch.nn as nn class GatedFusion(nn.Module): def __init__(self, dim_text, dim_audio, dim_visual, hidden128): super().__init__() # 每条模态先投影到同一维度 self.proj_t nn.Linear(dim_text, hidden) self.proj_a nn.Linear(dim_audio, hidden) self.proj_v nn.Linear(dim_visual, hidden) # 门控网络输入三模态拼接输出三条模态的权重 self.gate nn.Sequential( nn.Linear(hidden * 3, hidden), nn.ReLU(), nn.Linear(hidden, 3), nn.Softmax(dim-1) ) self.classifier nn.Linear(hidden, 2) # 二分类积极/消极 def forward(self, t, a, v): ht, ha, hv self.proj_t(t), self.proj_a(a), self.proj_v(v) stacked torch.stack([ht, ha, hv], dim1) # (B, 3, hidden) gate_in torch.cat([ht, ha, hv], dim-1) weights self.gate(gate_in) # (B, 3) fused (stacked * weights.unsqueeze(-1)).sum(dim1) return self.classifier(fused), weights逻辑说明三条模态先各自投影到hidden维度保证可以逐元素加权。门控网络输出三个权重并做 softmax使权重和为 1这样融合结果始终在合理数值范围内。weights单独返回是为了在报告里可视化——答辩时能展示「这段样本语音权重 0.6、文本 0.3、视觉 0.1」比只报一个准确率有说服力得多。参数上hidden取 128 是作业规模的常用值数据量上千条时可以加到 256classifier的输出维度按你的标签体系改二分类是 2多分类改成对应类别数。门控网络里加一层 ReLU 是为了引入非线性如果发现权重总是均匀分布说明门控没学到东西可以检查输入特征是否已经做了标准化。3.3 模态缺失时的降级处理实际演示时经常遇到某条模态拿不到的情况比如摄像头没开、麦克风没录上。如果模型强依赖三模态输入现场就会直接报错。稳妥的做法是在融合前加一个缺失标记哪条模态缺失就把它的特征置零同时把门控权重里对应位置强制压低。这样模型仍然能出结果只是置信度会下降答辩时反而能体现你对鲁棒性的考虑。4. 训练与评估别让准确率骗了你4.1 数据划分的坑多模态数据最常见的泄漏是「同一段视频的不同片段被分到训练集和测试集」。因为片段之间高度相似模型实际上是在背样本测试准确率虚高。正确做法是按原始样本整段视频或整次对话划分确保同一来源的数据只出现在一个集合里。我一般按 7:1.5:1.5 分训练、验证、测试划分前先按样本 ID 去重。4.2 训练循环的关键参数from torch.utils.data import DataLoader # 假设 dataset 返回 (text, audio, visual, label) loader DataLoader(dataset, batch_size16, shuffleTrue, drop_lastTrue) model GatedFusion(dim_text768, dim_audio64, dim_visual136) opt torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-2) criterion nn.CrossEntropyLoss() for epoch in range(30): model.train() for t, a, v, y in loader: logits, _ model(t, a, v) loss criterion(logits, y) opt.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) opt.step()逻辑说明batch_size取 16 是因为多模态特征拼接后显存占用比单模态高作业机器上 16 比较稳。lr1e-4配合AdamW和weight_decay1e-2是我在中小数据上比较常用的组合学习率再大会震荡再小收敛太慢。梯度裁剪max_norm1.0是为了防止某条模态梯度爆炸带崩整个网络这个在多模态里比单模态更常见。评估时不要只看准确率至少同时报 F1 和混淆矩阵。情感识别里类别不平衡很普遍准确率高但少数类全错的情况经常出现。如果发现某一类 F1 明显偏低优先检查那条模态的特征是否对该类不敏感而不是盲目加数据。4.3 验证集该怎么用验证集的作用是早停和选融合方案不是用来反复调参直到数字好看。我一般固定跑三组配置早期拼接、门控融合、去掉某条模态对比验证集 F1 后选定一个然后只在测试集上跑一次。如果测试集结果和验证集差距超过 5 个点基本可以判定数据划分有问题回去检查样本泄漏。5. 避坑与排查多模态大作业最常见的五个翻车点5.1 现象训练 loss 正常下降验证 loss 从第一轮就很高原因训练集和验证集的样本来源重叠或者特征标准化用了全量数据的均值方差导致验证集信息泄漏到训练过程。解决按样本 ID 划分数据集标准化参数只在训练集上拟合再应用到验证和测试集。5.2 现象模型只对某一条模态敏感去掉它准确率暴跌原因另外两条模态的特征质量太差或者维度差异过大导致门控网络直接忽略了它们。解决检查每条模态单独训练时的准确率如果某条模态单独跑接近随机先修那条分支的预处理不要指望融合层能救回来。5.3 现象演示时换一段新视频输出完全不合理原因新数据的采样率、帧率、文本长度和训练集不一致特征提取时没有做同样的归一化。解决把预处理参数写进配置文件推理时严格复用训练阶段的参数尤其是梅尔频谱的sr和n_mels、视觉的帧插值目标长度。5.4 现象门控权重始终接近 1/3融合没有效果原因门控网络的输入没有做标准化三条模态的数值范围差异太大softmax 前 logits 被某一维主导。解决在投影层后加 BatchNorm 或 LayerNorm让三条模态投影后的数值范围接近门控才能真正学到差异。5.5 现象答辩时被问「为什么用这个融合方式」答不上来原因只跑了最终方案没有做对比实验。解决至少保留早期拼接和门控融合两组验证集结果报告里放一张对比表说明门控融合在模态质量不均衡时的优势。有对比才有说服力这是课设和实训评分里很实际的一条。6. 把作业变成能讲清楚的作品可视化与消融实验最后一章说一个具体技巧用消融实验和权重可视化把「我跑通了」变成「我讲清楚了」。答辩现场老师不会逐行看代码但一定会看你的对比表格和可视化图。我一般会准备两张图一张是三条模态门控权重随时间的分布另一张是去掉某条模态后的 F1 变化。权重分布图的画法很简单把验证集样本过一遍模型收集weights输出按时间片平均后画折线。如果某条模态在情感变化剧烈的片段权重明显上升这就是一个很好的解释点——说明模型确实学到了模态间的互补关系而不是随机加权。消融实验按下面的组合跑四组每组记录验证集 F1实验组文本语音视觉预期观察全模态开开开基准去文本关开开语音视觉能否补位去语音开关开文本主导时的表现去视觉开开关视觉贡献度跑完这张表你就能回答「哪条模态最重要」「融合到底有没有用」这两个必问题。如果去掉某条模态后 F1 几乎不变说明那条模态在融合里是冗余的报告里可以如实写反而显得分析扎实。我自己的习惯是代码写完先跑一遍全模态再跑一遍单模态确认每条分支都不是摆设然后才调融合层。这个顺序帮我省过很多次返工——有两次发现语音分支的采样率写错单模态准确率只有 50% 出头如果直接上融合最后调不出来还找不到原因。希望帮到你。本文还有配套的精品资源点击获取