简介一份基于Python开发的多模态融合情感分析项目资料包覆盖文本、语音、图片与视频四类输入适合毕业设计、期末大作业及课程设计场景。项目经严格调试代码附有详细注释新手也能快速理解并部署运行。包内共20个文件含9个pickle模型与特征文件、5个Python源码脚本数据预处理、模型构建、训练及启动入口、3个zip数据集压缩包以及PDF项目文档、README说明和结果示意图压缩后约56.9MB目录清晰便于按模块查阅。其中pickle文件保存了处理后的多模态特征及训练好的模型权重Python脚本覆盖数据加载、模型定义与训练流程适合对照学习。目前已有101人学习下载项目获导师认可参考价值较高。该资料不仅提供可运行的完整代码还包含数据准备脚本与训练好的模型文件能帮助读者从数据处理、特征融合到情感预测全流程复现并根据自身需求进行二次拓展。1. 多模态融合情感分析不是投票输入四路信号的真正难点是对齐多模态融合情感分析输入侧同时出现文本、语音、图片和视频第一反应往往是“四个模型各出一个分数再投票取均值”。但把这条路径跑过的人都知道票数平均后的精度常常打不过只用文本的BERT。真正抬高精度的不是预测层而是编码层与融合层的对齐语音和画面帧在时间上怎么对齐文本情感词和音频语调谁主导图片是作为独立模态还是并入视频关键帧。这套系统解决的是短视频片段、客服录音录像等场景的复合情感判断适合已有单模态情感模型、想往上叠模态的工程团队。先记住一个反直觉的结论模态间信息冗余时融合反而会稀释信号所以预处理阶段的同步质量比模型结构更决定下限。2. 从文本、语音、图像到视频四种模态的编码器选择与特征抽取2.1 先定框架把四种模态统一成“序列取向量”打开一个多模态项目最容易被源码库带偏的地方是每个分支各用一套完全独立的网络。文本用长模型、语音用CNN、图像用分类网络最后在特征层拼起来维度对不齐不说训练时还会出现某个分支学得特别快、把其他分支梯度盖掉的情况。工程上更稳的做法是先把输入归成三类原始信号一段文本字符串、一条音频波形、一组图像帧序列。图片只是恰好只有一帧的特殊视频信号。统一之后每个模态的编码器都输出形状为(seq_len, hidden_dim)的特征序列后续融合层只需要处理序列长度和对齐不需要再感知模态类型差异。输入模态原始形式常用编码器输出形状文本字符串BERT、RoBERTa、ERNIE(token数, 768)语音16k PCM 波形log-mel wav2vec2、HuBERT(帧数, 特征维)图片单张 RGBResNet50、ViT、CLIP(1, 512) 或 (patch数, 768)视频帧序列音频轨帧级 ResNet 时序 Transformer(帧数, 512)选型理由文本直接用预训练模型上下文语义对情感词权重影响很大语音用 log-mel 频谱做浅层特征配合预训练模型微调在小数据集上比端到端波形更稳定图像和视频帧共享同一个 CNN 主干只在时序部分分叉能显著减少显存占用。2.2 文本与语音BERT 搭配 log-mel 频谱的抽取代码# 文本模态用 BERT 得到 token 级特征取 [CLS] 作为句级向量 from transformers import AutoTokenizer, AutoModel tokenizer_ckpt bert-base-uncased text_model AutoModel.from_pretrained(tokenizer_ckpt) tokenizer AutoTokenizer.from_pretrained(tokenizer_ckpt) texts [The movie is really good, I hate this slow service] # 中文场景要换 checkpoint例如 bert-base-chinese 或 chinese-roberta inputs tokenizer(texts, paddingTrue, truncationTrue, max_length128, return_tensorspt) outputs text_model(**inputs) cls_vec outputs.last_hidden_state[:, 0, :] # (batch, 768)max_length按项目里文本长度的 95 分位数设置不要拍脑袋用 512会放大计算量。这里没有把attention_mask显式取出实际工程中必须用它过滤 padding 位否则融合层的注意力会把空白 token 当成有效语义参与计算。# 语音模态log-mel 频谱 预训练 wav2vec2 或轻量 CNN import torch, torchaudio from torchaudio.transforms import MelSpectrogram, AmplitudeToDB waveform, sr torchaudio.load(segment.wav) # (1, samples) resampler torchaudio.transforms.Resample(sr, 16000) waveform resampler(waveform) mel MelSpectrogram( sample_rate16000, n_fft400, hop_length160, n_mels64, f_min125, f_max7500)(waveform) # (1, 64, T) log_mel AmplitudeToDB()(mel)hop_length160在 16k 采样率下等于每 10ms 一帧n_mels64是语音情感分类里较稳的配置。f_min125Hz砍掉低频环境噪声f_max7500去掉语音基本用不到的超声频段。如果直接拿 wav2vec2 抽特征显存和耗时都会明显上升建议先用 log-mel 建立基线再考虑升级。2.3 图像与视频ResNet 瞬时帧与滑动窗采样的取舍# 图像/视频帧共享视觉编码器 from torchvision.models import resnet50, ResNet50_Weights import cv2, torch weights ResNet50_Weights.IMAGENET1K_V2 img_model resnet50(weightsweights) img_model.fc torch.nn.Identity() # 去掉分类头输出 2048 维 def extract_frame_feature(video_path, model, fps2): cap cv2.VideoCapture(video_path) frames [] count 0 while True: ret, frame cap.read() if not ret: break if count % int(cap.get(cv2.CAP_PROP_FPS) // fps) 0: frame cv2.resize(frame, (224, 224)) frames.append(torch.from_numpy(frame).float() / 255.0) count 1 cap.release() batch torch.stack(frames).permute(0, 3, 1, 2) with torch.no_grad(): feats model(batch) # (N, 2048) return feats视频不要逐帧过模型。每秒采 2 帧是短视频情感分析的常用起点超过 5fps 时相邻帧高度冗余训练时间翻倍但指标基本不变。cv2.resize直接缩到 224x224 会损失宽高比对粗粒度情感判断影响不大如果后续要做人脸表情细粒度识别应该先按短边缩放再中心裁剪。3. 融合架构特征拼接、注意力加权与音视频时序对齐3.1 为什么不建议直接早晚拼接或多模型投票早期简单拼接指把四个编码器的最后池化向量拼成一个大向量再接一个 MLP。这个方案的问题是强模态会压过弱模态文本里“太失望了”几乎没有歧义语音和画面的情感信息就成了噪声而文本很中性时语音的激动程度又完全决定标签。晚融合则是在每个模态独立出预测分数后加权平均权重是全局常数适应不了样本级别的模态可靠性差异。项目文档里最好直接写清选型结论初期用特征级拼接跑通 pipeline效果稳定之后换成注意力融合不要把时间花在投票权重的格点搜索上。3.2 特征级融合Tensor Fusion 的 PyTorch 实现特征级融合里外积是比拼接更合理的起步操作它能建模模态之间的二阶交互。Tensor Fusion Network 的做法是给每个模态向量前补一个常数 1再做外积展开展开后既包含两个模态各自的一阶项也包含交叉项。# 三个模态特征的三维外积融合 import torch def tensor_fusion(t, a, v): # t,a,v: (batch, hidden) t1 torch.cat([torch.ones(t.size(0), 1), t], dim1) # (B, dt1) a1 torch.cat([torch.ones(a.size(0), 1), a], dim1) v1 torch.cat([torch.ones(v.size(0), 1), v], dim1) fusion torch.bmm(t1.unsqueeze(2), a1.unsqueeze(1)) # (B, dt1, da1) fusion fusion.view(t.size(0), -1).unsqueeze(1) fusion torch.bmm(fusion, v1.unsqueeze(2)) # (B, 1, dv1) return fusion.view(t.size(0), -1)这个展开的维度增长极快三个 64 维模态展开后会出现几十万维的特征因此外积一般只在低维特征上使用。常见做法是先用音视频特征做外积再把文本特征接入后续 MLP 做高层融合而不是三个模态一次展开。每个模态前补常数 1 相当于给交叉项配了偏置去掉这个 1 外积就只剩纯二阶项会丢失模态内的基本信息。3.3 跨模态注意力与音视频对齐时间戳是第一对齐依据MulT 这类模型的核心是跨模态 Transformer 注意力让文本的每个 token 去 attend 音频的每一帧让音频帧去 attend 视频帧。它解决的是模态之间“软”对齐问题但前提是两个序列在物理时间上已经“硬”对齐过。音视频时间戳是第一对齐依据读取视频容器里的pts和音频采样点位置再按各自采样率换算成同一个时间基。常见错误是直接按帧序号对齐遇到音画不同步的视频一段几十秒的情感信息会整体错开几百毫秒。# 跨模态注意力单头简化版文本 token 吸收语音帧信息 def cross_modal_attention(query, key, value, maskNone): scores torch.matmul(query, key.transpose(-1, -2)) # (B, Tq, Tv) scores scores / (key.size(-1) ** 0.5) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) weights torch.softmax(scores, dim-1) context torch.matmul(weights, value) # (B, Tq, dv) return context, weightsdq和dv建议先映射到同一个 hidden size比如 128直接用原始维度会让分数被高维模态主导。mask 位置应该把 padding 位和静音帧全部遮掉避免注意力落到无声段上。提示视频pts通常按 90kHz 时间基计数、音频按采样率计数对齐时先除以各自时间基再换算成毫秒不要拿 frame index 直接对应音频帧序号。4. 数据集处理从 CMU-MOSI 到自定义数据的标注格式与预处理管线4.1 公开数据集CMU-MOSI、IEMOCAP 与 CH-SIMS 的规模对照标题里的“数据集”部分最常被引用的三份是 CMU-MOSI、CMU-MOSEI 和 IEMOCAP。CMU-MOSI 是英文单说话人影评片段标注分积极消极二分类也有 1 到 7 的回归分数规模不大但做基线足够。CMU-MOSEI 是扩展版多说话人、多主题文本、音频、视频三模态齐全。IEMOCAP 是对话风格包含演员表演的对话有 session 划分适合验证跨 session 泛化。中文项目常用 CH-SIMS它同时提供文本、语音、视觉三个模态各自的独立情感分数和总情感分数适合做模态一致性分析。数据集语言模态主要规模标注特点CMU-MOSI英文文本音频视频2199 个片段二分类 回归CMU-MOSEI英文文本音频视频23453 个片段多说话人、情感回归IEMOCAP英文文本音频视频12 小时对话6 类离散情感CH-SIMS中文文本语音视觉2281 个片段模态级分数 整体分数这些数据集的原始目录结构不一致源码组织时先统一成自己的存储格式不要直接沿用官方目录。预处理第一步是把文本、视频、标签三份来源合并成一个 manifest 文件。4.2 自定义数据集的目录结构与 JSON 标注 Schema做私有数据时目录建议按样本或会话为单位组织不要按模态分目录。按模态归类的项目后期扩展很痛苦每新增一段视频要同时改三个目录。常见做法是每个样本一个独立目录内部按固定名字放不同模态文件。data/ └── sample_0001/ ├── text.txt # 原始文本转写一行一句 ├── audio.wav # 16k 单声道从原视频抽取 ├── video.mp4 # 原始视频或对齐后的片段 ├── cover.jpg # 图片输入时可复用关键帧 └── label.json # 标注与时间戳{ id: sample_0001, duration_s: 12.8, modalities: { text: {path: text.txt, start_ms: 0, end_ms: 12800}, audio: {path: audio.wav, start_ms: 0, end_ms: 12800}, video: {path: video.mp4, start_ms: 0, end_ms: 12800} }, labels: { sentiment_class: 1, valence_score: 2.5, arousal_score: 1.0 }, modality_labels: { text: 1, audio: 1, video: 0 } }给每个模态单独标注是项目文档里最容易漏的部分。只有整体标签的话训练完无法诊断是哪个模态拖了后腿有了模态级标签可以在验证集上分别算文本、语音、视频分支各自的准确率。融合模型结果低于最优单模态分支时说明融合权重学坏了。valence_score和arousal_score是维度型情感标注比离散类别信息更丰富在回归类模型里常用。4.3 预处理管线帧采样、静音裁剪与数据增强# 统一的多模态预处理管线输出可直接训练的 batch import subprocess import numpy as np import soundfile as sf def preprocess_sample(item, target_fps2, sr16000): # 1. 从 mp4 抽取 wav 并重采样 if not os.path.exists(item[audio_path]): subprocess.run([ ffmpeg, -i, item[video_path], -ac, 1, -ar, str(sr), -y, item[audio_path] ], checkTrue) # 2. 检测静音段做裁剪或截断 audio, _ sf.read(item[audio_path]) energy np.abs(audio) active np.where(energy 0.01 * energy.max())[0] if len(active) 0: start_s max(0, active[0] // sr - 0.3) end_s min(len(audio) / sr, active[-1] // sr 0.3) # 3. 按 active 区间重新截视频保证文本、音频、视频同步 return { audio_segment: audio[int(start_s * sr):int(end_s * sr)], video_segment: item[video_path], # 仍需 ffmpeg 截取同一区间 text_prompt: load_text_with_timestamp(item[text_path], start_s, end_s) }静音裁剪对语音情感识别影响很大。背景留 300ms 余量避免把话头话尾的呼吸音切掉呼吸音在实际情感判断里反而是语调信息。截完音频后视频必须按同一时间区间重新切割直接对整段视频推理、音频却只输入截断段会让融合层时间轴错位。数据增强方面语音加随机噪声、对 log-mel 频谱做时间掩码视觉做随机裁剪和亮度扰动文本不要做同义词替换情感词替换很容易把标签反转。5. 训练与评估损失函数、CCC 指标与多模态过拟合的调参策略5.1 训练主循环batch 拼接、混合精度与线性预热多模态模型训练和单模态只有一个关键差异数据要按时间戳拼接对齐。同一个样本的文本 token 数、音频帧数、视频帧数各不相同不能简单 pad 到同一长度。源码里通常采用 batch 级最大长度做 padding并在每个模态对应的注意力 mask 里遮掉空位。import torch.nn.functional as F def train_step(batch, model, optimizer, scaler): text_input batch[text] # (B, T_t) 已 pad audio_mel batch[audio] # (B, F_mel, T_a) frame_seq batch[video] # (B, N_frame, 3, H, W) with torch.cuda.amp.autocast(): logits, loss_dict model( text_input, audio_mel, frame_seq, text_maskbatch[text_mask], audio_maskbatch[audio_mask], video_maskbatch[video_mask]) loss loss_dict[cls_loss] 0.3 * loss_dict[triplet_loss] optimizer.zero_grad() scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update()triplet_loss取的是模态对比损失温和拉近同一情感标签的表示、推开不同标签的表示。系数 0.3 是经验起点不要超过 0.5否则模态编码器会被压缩成情感分类器丢失结构信息。clip_grad_norm_设 1.0多模态模型梯度来自四个分支幅度差异大梯度裁剪能防止语音分支把文本分支的权重带偏。混合精度对注意力分数的数值精度影响不大可以放心开遇到 NaN 时优先检查音频 mask 是否被广播成了 0 维。5.2 评估指标Acc/F1 与回归场景下的 CCC分类任务看 Acc 和 F1但多模态情感分析论文里最常见的回归指标是 CCCConcordance Correlation Coefficient。CCC 不仅衡量预测和真实值的相关性还惩罚均值偏移适合情感标注这种本身有主观漂移的场景。def concordance_ccc(y_true, y_pred): mean_true, mean_pred y_true.mean(), y_pred.mean() var_true, var_pred y_true.var(), y_pred.var() cov np.cov(y_true, y_pred)[0, 1] return 2.0 * cov / (var_true var_pred (mean_true - mean_pred) ** 2)var用总体方差还是样本方差对 CCC 影响不大但y_true和y_pred必须是 float整数类型会出现除法截断。对比实验报告里把 Acc、F1、CCC、MAE 四个指标一起列出单看 Acc 容易被不平衡的多模态数据骗到。项目文档中还要保存训练日志和超参记录复跑时才能定位到是哪次修改引起了指标变化。5.3 多模态过拟合的典型表现与三个调参动作多模态模型过拟合的表现和单模态不同训练损失下降很快训练集接近满分验证集 F1 卡住不上部署到新数据时掉点更凶。这是因为模型记住了模态间的“巧合相关”比如某个说话人的喘气声和负面情绪同时出现。三个动作依次做第一在融合层加 dropout取值 0.3 到 0.5不要只加在编码器末尾第二把视频帧采样率降到 1fps静音检测更严格削掉冗余输入第三给语音加 SpecAugment时间掩码宽度设 20 帧、频率掩码带宽设 8 个 mel 通道这组参数对语音情感识别的泛化最有效。6. 落地上线的三个技巧长视频切段、ONNX 导出与模型蒸馏6.1 长视频切段与帧采样速率线上视频往往几分钟起训练时输入是 10 到 30 秒片段直接整段推理会同时遇到显存超限和情感漂移。常见做法是滑窗切段取 10 秒一段、步长 5 秒让相邻片段带 5 秒重叠用冗余上下文平滑边界。每个切段分别出情感分数后按中位数聚合能减少单段误判的拉动。帧采样速率降到 1fps 后10 秒段只有 10 帧视觉编码器计算量可以忽略瓶颈落在文本和语音分支。6.2 ONNX 导出与动态轴PyTorch 模型上线前先导出 ONNX再用 onnxruntime 推理。多模态输入的 shape 是动态的导出时必须显式声明动态轴否则固定 batch 会让线上并发互相踩内存。导出用的dummy_text、dummy_audio、dummy_video直接用预处理管线输出的随机 batch 构造。torch.onnx.export( model, (dummy_text, dummy_audio, dummy_video), multimodal_emotion.onnx, input_names[text, audio, video], output_names[logits], dynamic_axes{ text: {0: batch, 1: text_len}, audio: {0: batch, 2: audio_len}, video: {0: batch, 1: frame_len} }, opset_version17, do_constant_foldingTrue )dynamic_axes里同时对 batch 和序列长度声明动态是必要的只对第一维声明会导致不同长度样本无法并发推理。opset 版本不要追新17 在 onnxruntime 和 TensorRT 的兼容性最稳。导出后统一用 onnxruntime 加载同一份 ONNX 文件既能跑 CPU 也能跑 GPU省掉同时维护两套模型实现的成本。6.3 模型蒸馏用融合大模型带一个轻量单模态推断器有些上线场景拿不到全部四个模态比如只有客服录音、没有画面。此时可以把训练好的多模态融合模型当作教师去蒸馏一个只用语音输入的轻量学生模型。蒸馏损失用教师模型在该样本上的 logits 分布而不是硬标签具体做法是 KL 散度加温度参数 TT 取 3 时软标签携带的模态互补信息保留得最好。这样线上只部署语音分支文件体积和延迟都能压下来准确率比直接用单模态硬标签训练高出四个点以上。训练完成后的蒸馏脚本和教师模型权重就是项目交接时最有价值的一份文档。本文还有配套的精品资源点击获取