简介基于深度学习的语音情感识别MATLAB算法实现资源包面向语音信号处理与深度学习入门开发者聚焦从语音特征提取到情感分类的完整流程可辅助课程设计、毕业设计与科研预研。压缩包共9个文件包含5个.mat数据文件对应生气、开心、中性、悲伤、恐惧等情感样本和4个.m脚本实现PNN、BPNN、LVQ等不同网络整包仅260KB轻量易用便于快速下载。已有454人学习下载适合在MATLAB环境下对照代码理解模型搭建与训练过程。资源提供可直接运行的情感分类示例涉及MFCC特征处理、数据加载、网络训练与预测等关键环节通过调整脚本参数即可切换算法便于对比不同模型的识别效果。以少量样本即可跑通全流程为后续扩展更深层网络或优化特征提取提供基础。1. 语音情感识别为什么要用深度学习在MATLAB里做一段客服录音用户在电话里说“我理解你们的规定”尾音却明显下沉。文本内容看不出情绪但基频、能量和语速已经把不满暴露得透彻。语音情感识别Speech Emotion RecognitionSER就是让机器从声学信号中推断情绪状态而不是分析语义。它的应用场景已经覆盖客服质检、心理辅诊、车载交互和游戏陪聊技术路线也从SVM、HMM等传统方法整体移向深度学习。选择MATLAB做这套系统核心优势在于音频预处理、特征提取、模型训练和结果可视化都停在同一个环境里调试链路短参数可以逐层翻出来看尤其适合算法验证和样机落地。下文按“特征提取 → 模型搭建 → 训练调优 → 预测部署”的路径把一套可复现的算法实现完整拆解。2. 语音情感特征提取MFCC与预处理在MATLAB里的实现2.1 音频预处理预加重、分帧与加窗原始语音波形直接送入神经网络通常效果很差因为波形维度高、时序冗余大且受录音设备和环境噪声影响明显。标准做法是先做一组信号预处理再提取声学特征。常见链路是预加重 → 分帧 → 加窗 → 特征提取。预加重用一阶高通滤波器 y[n] x[n] − 0.97x[n−1]目的是补偿声门激励导致的语音高频能量衰减让频谱更平坦。[audio, fs] audioread(emotion_001.wav); % 读取音频 audio audio / max(abs(audio)); % 幅值归一化 audio filter([1 -0.97], 1, audio); % 预加重 frameLen round(0.025 * fs); % 帧长25ms frameShift round(0.010 * fs); % 帧移10ms帧间重叠15ms frames buffer(audio, frameLen, frameLen - frameShift, nodelay); frames frames .* hamming(frameLen);参数说明0.025 * fs对应25ms帧长语音信号在短时窗内近似平稳25~30ms是语音分析的标准窗长0.010 * fs对应10ms帧移保证相邻帧有足够交叠避免帧边缘信息丢失buffer把一维信号切成以列为单位的分帧矩阵每列是一个短时帧hamming生成的汉明窗用于压制帧边缘频谱泄漏。工程中我不会把静音段直接送进特征提取器。短时能量在静音区接近零这些帧的MFCC系数会向原点聚集拉偏后续分类边界。简单做法是用movmean对短时能量做平滑取能量超过阈值区间的信号作为有效段再做分帧。2.2 MFCC特征提取维度、滤波器组与参数选择MFCCMel频率倒谱系数是目前语音情感识别中应用最广的声学特征。它的计算过程大致是预加重后的信号分帧加窗 → FFT → 功率谱 → Mel滤波器组 → 取对数 → DCT得到倒谱系数。低阶系数描述频谱包络与音色和声道形状相关高阶系数描述频谱细节与发音风格和情绪起伏相关。MATLAB的Audio Toolbox把这条链路封装成了audioFeatureExtractor不需要手工写滤波器组aFE audioFeatureExtractor( ... SampleRate, fs, ... mfcc, true, ... Window, hamming(round(0.025*fs), periodic), ... OverlapLength, round(0.025*fs) - round(0.010*fs), ... NumCoeffs, 13); features extract(aFE, audio); % 输出 [numFrames, 13] features features; % 转置为 [13, numFrames]参数说明NumCoeffs取13不加第0阶能量系数这是语音识别和语音情感识别默认起点后续可尝试26阶或追加一阶差分扩展Window使用周期性汉明窗OverlapLength为帧长减帧移即15ms重叠extract输出行为帧、列为特征维度转置后每一列是一个时间步的特征向量恰好匹配sequenceInputLayer的时间序列输入格式。只靠13维MFCC区分“中性”和“平静”这类样本经常不够。我一般会在audioFeatureExtractor里同时打开pitch和shortTimeEnergy把基频轨迹和能量曲线拼接到MFCC后面。拼接时注意帧长对齐audioFeatureExtractor统一按OverlapLength分帧最后用concat沿特征维拼接即可。2.3 样本组织数据集划分与标签编码特征提完必须按固定规则组织成训练集和验证集否则训练过程无法复现。目录按情绪类别组织是主流做法每个类别下放同一说话人的多段语音allFeatures {}; allLabels {}; % 目录结构emotion_dataset/angry/xxx.wav, emotion_dataset/happy/xxx.wav ... dataRoot ./emotion_dataset; emotions {angry, disgust, fear, happy, neutral, sad}; for i 1:numel(emotions) folder fullfile(dataRoot, emotions{i}); fileList dir(fullfile(folder, *.wav)); if isempty(fileList) error(文件夹 %s 下没有wav文件, folder); end for j 1:numel(fileList) filePath fullfile(folder, fileList(j).name); [audio, fs] audioread(filePath); feat extract(aFE, audio); % [13, numFrames] allFeatures{end1} feat; allLabels{end1} emotions{i}; end end allLabels categorical(allLabels);这段代码里我做了目录空检查避免训练时因空标签崩溃。这里强调一个语音情感识别里很关键但容易被忽略的原则按说话人ID划分训练集和验证集而不是按文件随机划分。若同一个说话人的音频同时出现在两侧模型可能学到音色特征而不是情绪特征验证准确率虚高换到新说话人时性能明显崩落。3. 深度学习模型选型与MATLAB网络搭建3.1 从BP神经网络到CNN-LSTM为什么必须用时序模型在深度学习进入语音领域之前语音情感识别的主流方案是把MFCC统计量均值、方差、偏度拼成一组固定维度向量再送进SVM或BP神经网络做分类。这个方案有一个明显弱点统计量把动态变化全部抹平了而情绪的差异恰恰体现在语调升降曲线和节奏变化上。这也是“bp神经网络拟合曲线”类搜索存在的根本原因——BP在平坦映射上表现好但面对时序动态就明显吃亏。深度学习模型里真正适合语音情感识别的是循环神经网络和卷积网络的组合。LSTM通过门控机制记忆长时上下文能捕捉一个句子从平静到激动的渐变过程CNN擅长在局部时间窗内提取频谱突变模式比如愤怒语音里高频能量突然增强的特征。因此“CNN做局部特征提炼、LSTM做全局时序建模”是这个任务最常见且可靠的模型骨架。这里用的是沿着时间帧方向滑动的一维卷积不是图像任务里的二维卷积。3.2 在MATLAB中搭建CNN-LSTM混合网络Deep Learning Toolbox从R2019b起正式支持convolution1dLayer为时序CNN-LSTM提供了原生层对象。下面是一组可直接训练的结构定义输入为 [13, numFrames] 的特征序列numClasses 6; inputSize 13; % 必须与MFCC维度一致 layers [ sequenceInputLayer(inputSize, Name, input) convolution1dLayer(5, 32, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling1dLayer(2, Stride, 2, Name, pool1) convolution1dLayer(5, 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) lstmLayer(64, OutputMode, last, Name, lstm1) dropoutLayer(0.3, Name, dropout) fullyConnectedLayer(numClasses, Name, fc) softmaxLayer(Name, softmax) classificationLayer(Name, output) ];层结构说明convolution1dLayer(5, 32)表示卷积核长度为5、输出通道为32卷积核覆盖5帧的局部上下文32个卷积核从不同角度提取频谱变化模式maxPooling1dLayer(2, Stride, 2)在时间维度做2倍降采样降低LSTM输入长度原帧移10ms池化后等价于20ms步长不牺牲情感持续时间信息lstmLayer(64, OutputMode, last)只在最后一个时间步输出隐藏状态把整段序列压缩成一个固定长度向量dropoutLayer(0.3)训练时随机丢弃30%的神经单元抑制过拟合验证和推理阶段自动关闭。如果手上的MATLAB版本低于R2019b没有convolution1dLayer可以用transpose层把序列转成图像格式再走convolution2dLayer但代码可读性和维护成本都高。这里统一按R2019b以上版本讲解。3.3 数据增强让模型更抗噪、更稳定语音情感识别最常见的坑是数据量小。公开的语音情感数据集通常只有数百到数千条完整音频直接训练深层网络很容易过拟合。常用的解决办法是数据增强。语音设备的频响差异、麦克风距离和房间混响都会改变实际输入增强策略也要围绕这些干扰设计[audio, fs] audioread(emotion_001.wav); % 音量扰动幅度增益随机波动10% gain 1 0.1 * randn(); featGain extract(aFE, audio * gain); % 加性高斯噪声标准差取信号标准差的1% noiseStd 0.01 * std(audio); noise noiseStd * randn(size(audio)); featNoisy extract(aFE, audio noise); % 原始特征 featOrig extract(aFE, audio);参数说明0.1 * randn()让增益在0.9~1.1附近波动太大会连情绪强度一起改变0.01 * std(audio)控制噪声幅度在语音能量的百分之一保留可懂度。增强后的三组特征共享同一个标签。这样训练出的模型对麦克风差异和轻微环境噪声更鲁棒。时间拉伸这类增强手段要谨慎。对“愤怒”这种语速快的情绪做加速听感会从愤怒滑向紧张标签和特征的对应关系失真。时间域拉伸幅度我一般控制在0.9~1.1倍以内超过这个范围就不建议做标签保持型增强。4. 深度学习训练策略与超参数调优准确率、过拟合与混淆矩阵4.1 训练选项初始值与学习率调度模型定义好后训练效果好坏往往不取决于网络多深而取决于训练超参数。MATLAB的trainingOptions把常用开关集中在同一个函数里下面是一组在语音情感识别上经过验证的起点options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MiniBatchSize, 32, ... MaxEpochs, 60, ... ValidationData, {valFeatures, valLabels}, ... ValidationFrequency, 20, ... Plots, training-progress, ... Shuffle, every-epoch, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, 15, ... LearnRateDropFactor, 0.5, ... OutputNetwork, best-validation, ... Verbose, true);参数含义和调整方向如下参数起始值调整范围调整信号InitialLearnRate0.0010.0005~0.005损失震荡则调小收敛慢则调大MiniBatchSize3216~128序列长、显存小则调小LearnRateDropPeriod1510~20验证损失出现平台期则拉长LearnRateDropFactor0.50.1~0.5下降太猛可能跳过最优区间OutputNetworkbest-validation-始终保留验证集最优权重InitialLearnRate取0.001是Adam优化器处理语音特征序列的常用起点特征值范围本身不大高于0.01时损失曲线容易出现锯齿MiniBatchSize取32对长度为几百帧的短音频合适GPU显存足够时可提高到64但LSTM这类串行结构并不随batch增大而线性加速OutputNetwork设为best-validation后训练过程自动保存验证集准确率最高时刻的权重防止最后一个epoch过拟合时把次优模型覆盖上去。4.2 过拟合控制Dropout、早停与序列长度统一语音情感训练中过拟合的信号很典型训练准确率接近100%验证准确率卡在70%上下不去或者验证损失在某个epoch后开始回升。处理顺序上先检查验证集是否按说话人独立划分再谈降低模型容量。MATLAB的trainingOptions提供了ValidationPatience参数验证损失连续多少次不下降就自动终止训练。我一般设置在10左右省去死盯损失曲线的精力。提示ValidationPatience在较老版本中不存在那时需要自己写回调函数监控ValidationLoss并调用stopTraining。此外LSTM对变长序列的处理是动态展开的但每个batch内序列长度差异过大时短序列会被大量padding浪费计算且可能引入噪声。通常按训练集长度分位数设定最大帧数做截断或填充maxLen 300; for i 1:numel(allFeatures) feat allFeatures{i}; if size(feat, 2) maxLen allFeatures{i} feat(:, 1:maxLen); % 截断保留前300帧 end end参数说明300帧对应3秒音频能覆盖大多数一句完整话语。情感判断依赖句子中后段的语义收束直接截掉尾部会丢失情绪爆发的关键位置所以截断方向要根据实际数据分布决定不能盲目取头。4.3 评估指标准确率、混淆矩阵与F1语音情感识别是天然的类别不平衡问题“中性”样本通常远多于“恐惧”“厌恶”等类别只看准确率会掩盖多数类上的假象。我至少打印三样东西整体准确率、每个类别的F1值、混淆矩阵。predLabels classify(net, valFeatures); acc mean(predLabels valLabels); fprintf(验证集准确率%.2f%%\n, acc * 100); % 混淆矩阵 figure; cm confusionchart(valLabels, predLabels); cm.RowSummary row-normalized; cm.ColumnSummary column-normalized;代码说明classify直接返回每个序列样本的硬标签与验证标签逐元素比较得到准确率confusionchart是R2018b起的可视化工具row-normalized让每行和为1便于观察真实类有多少被误分成其他情绪column-normalized让每列和为1便于观察预测结果的精确率。如果“happy”行上有相当比例落到“angry”说明这两类声学表现互相渗透下一步要单独增强这两类样本或对特征做说话人归一化。5. 新语音预测与部署从训练好的模型到实时识别5.1 用训练好的网络对新语音做单条预测训练完成后推理顺序是加载网络 → 读取音频 → 提取特征 → 预测。模型保存时要连同特征提取器一起保存因为audioFeatureExtractor的窗口、帧移和系数阶数都依赖训练时的配置只存网络不存特征提取器推理时特征维度会对不上save(serNet.mat, net, aFE); % 推理阶段 load(serNet.mat, net, aFE); [audio, fs] audioread(live_recording.wav); audio audio / max(abs(audio)); feat extract(aFE, audio); pred classify(net, feat); disp(pred);这段代码在笔记本上处理一段3秒音频的时间在数十毫秒量级前提是特征维度13、LSTM隐单元64。实时性要求更高时可以只保留音频最后100帧参与预测牺牲一点精度换取延迟下降。注意语音情感判断有时依赖整句话的语气走势截尾策略必须经过验证集检验再上线。5.2 模型压缩与导出MATLAB训练出的深度学习模型直接部署到云端或嵌入式设备体积偏大且依赖MATLAB Runtime。更实际的路径是用exportNetworkToONNX导出ONNX格式再通过ONNX Runtime接入已有服务。导出前可以把lstmLayer换成gruLayer参数量能减少约25%准确率通常只下降1~2个百分点。GRU在时间维上的顺序计算成本低于LSTM对低延迟场景是划算的权衡。混合精度训练也值得测试。Deep Learning Toolbox在支持的GPU上可以配合trainingOptions使用自动混合精度训练时间缩短约30%但CPU推理不会获得同等收益。另一个在实验阶段常用的技巧是统计量池化把MFCC特征替换成“每帧特征在全句上的均值方差拼接”预测时间大幅缩短但会丢掉动态信息适合做基线对比或离线批量分析。真正上线的低延迟方案还是要保留时序维度的LSTM建模。本文还有配套的精品资源点击获取