简介面向电气领域预测任务的深度学习项目资源包以Python语言实现卷积神经网络、门控循环单元与注意力机制融合的混合模型适用于电力需求预测、设备故障诊断等典型时序场景。压缩包共8个文件包括4个文本说明模型介绍、依赖包版本等、2个Python脚本模型搭建与训练代码和2个数据文件含示例电力负荷数据整体仅1.24MB结构简洁易于下载与复现。目前已有109人学习适合电气工程、数据科学及深度学习入门者参考。资源提供了从数据预处理、特征提取、模型构建到结果评估的完整流程同时包含注意力权重分析相关说明可帮助读者理解模型如何聚焦关键输入。借助清晰的目录与依赖清单读者也可以将模型迁移至其他回归或预测任务是一份兼顾学习与实战的电气预测代码包。1. 051cnn-gru-attention 是什么一套把时序预测拆成三步走的 Python 程序拿到一个叫051cnn-gru-attention预测 Python程序.zip的压缩包不用急着解压看代码光看名字就知道这套程序是干什么的用 CNNGRUAttention 三层结构做时间序列预测。我在电力负荷预测项目里用过同款组合短期负荷曲线里既有周期性又有突发性单靠 LSTM 容易把突发当噪声滤掉而 CNN 先提局部形态、GRU 再学前后依赖、Attention 最后把关键时间步挑出来正好压得住这类数据。这套代码适合手里有历史负荷或温度序列、想快速跑出一个可用预测结果的工程师哪怕你不打算上生产也可以拿它当基线模型去对比更复杂的方案。下面的内容我按原理拆解、环境与数据、模型实现、踩坑记录、结果验证这个顺序展开让你从解压 zip 到跑出可信预测每一步都知道自己在干什么。2. 拆开 051cnn-gru-attentionCNN、GRU、注意力分别解决什么问题很多第一次拿到这套代码的人会直接翻模型文件然后被三个模块的拼接绕晕。我的建议是先别碰代码把三个组件在时序预测里各自扮演的角色搞清楚后面调参才有方向。这个模型名字不是随便拼的它对应的是三段串行处理先卷积再循环最后注意力加权。2.1 CNN 卷积从滑动窗口里先提局部特征时间序列和图像不一样没有空间上的上下左右但有一个滑动窗口里的局部形态。比如电力负荷早上 8 点到 9 点这一段通常是快速爬升9 点到 11 点高位震荡这些形态在窗口里表现为特定的数值组合。CNN 的一维卷积就是专门抓这种局部模式的卷积核在时间轴上滑动每个位置计算一次加权和输出就是这一小段序列的响应强度。在常见实现里输入形状是(batch, seq_len, features)经过一维卷积后变成(batch, seq_len, channels)。后面的 GRU 不关心你原来有几个特征它只关心每个时间步上浓缩过的信息是什么。所以 CNN 在这里还有一个作用就是把原始的多维特征压缩成更适合 GRU 处理的表示降低 GRU 的输入维度。如果你有多个外部特征比如温度、湿度、是否节假日最常见的做法是拼在 feature 维上让卷积层同时扫描多个变量的局部关系。这里有个容易踩的细节一维卷积的核大小kernel_size选 3 还是 5影响的是看多宽的局部。核太小只能看到相邻两三个点抓不住完整的爬升段核太大局部特征又会被抹平。我用下来kernel_size3、连续两层卷积是比较稳的起点第一层把特征维度扩大第二层再压缩回去。另外一定要给卷积加 padding否则序列长度会越卷越短后面接 GRU 时维度对不上这种报错查起来很费时间。2.2 GRU 门控循环单元把时间顺序吃进去CNN 看完局部形态之后GRU 负责把这些形态按时间顺序串起来。GRU 是 LSTM 的轻量版只有重置门和更新门参数少、训练快在序列长度中等几十到几百步的预测任务里效果和 LSTM 差不多但显存占用更友好。如果你只是做单变量负荷预测GRU 和 LSTM 的精度差异通常在 0.5% 以内而 GRU 的训练时间能省 20% 到 30%。GRU 的核心行为是每个时间步输入当前时刻的向量和前一步的隐藏状态输出新的隐藏状态。这个隐藏状态可以理解为模型对到目前为止发生了什么的压缩记忆。重置门决定要不要忘掉之前的记忆去接受新信息更新门决定新信息占多大比重。对负荷预测来说这意味着模型能学到昨天同一时刻的负荷形态和前几个小时的变化趋势对当前预测的影响。在模型代码里你会看到nn.GRU(input_size, hidden_size, num_layers, batch_firstTrue)。注意batch_firstTrue这个参数它让输入输出都是(batch, seq_len, hidden)否则你后面拼 Attention 的时候每步都要转置容易把维度搞混。num_layers一般设 1 到 2 层堆太多层在小数据集上只会过拟合不会带来精度提升。还有一点GRU 的初始隐藏状态默认是全零这在小数据集上够用如果你知道序列开头有很强的先验信息可以手动传入初始状态但绝大多数场景不需要。2.3 Attention 注意力决定看哪几个时间步GRU 的隐藏状态会记住整个序列但最后的隐藏状态其实是压缩过全程的信息具体到明天早上 9 点的负荷更依赖前 24 小时哪个时段它说不清楚。Attention 机制解决的就是这个问题给每个时间步的隐藏状态算一个权重让模型在预测时重点看权重高的那几步。常见做法是加性注意力把 GRU 每个时间步的输出和一个可学习的查询向量做匹配算出未归一化的分数再用 softmax 转成权重最后对所有时间步的输出做加权求和。这个加权结果作为带注意力的上下文向量送到全连接层做最终预测。加性注意力比乘性注意力在隐藏维度较大时更稳因为乘性注意力在维度高时容易让 softmax 进入饱和区梯度变很小。这套程序里的 Attention 通常不需要自己从头写但你要理解权重矩阵的形状GRU 输出形状是(batch, seq_len, hidden_size)注意力分数形状是(batch, seq_len, 1)加权求和后变成(batch, hidden_size)。维度对不上是这里最常见的报错后面第 5 章会专门讲怎么排查。另外注意力权重是可以打印出来的把权重画成热力图能看到模型在预测每个点的时候重点关注了哪些历史时刻。这个可视化在给业务方解释模型时非常好用比张嘴说深度学习模型是个黑匣子强得多。需要特别提醒的是Attention 不是万能的它只是在 GRU 之后做一次重点回顾。如果序列里全是噪声注意力权重学出来也会很平均这时候它并不会比直接用最后一个隐藏状态好多少。所以不要指望加了这个模块就一定涨点它真正擅长的是让模型在长序列里找到关键时间步。3. 落地第一步目录、环境和数据预处理原理搞清楚了现在开始动真格的。这一章的目标是让你把 zip 解开之后能对照目录结构知道每个文件是干嘛的并且把环境配好、把数据送进模型之前的预处理做对。很多项目死在预处理上而不是模型上这句话我反复跟同事强调过。3.1 zip 包里该有什么从数据到预测脚本的目录结构我经手过的这类预测 Python 程序压缩包绝大多数目录结构长这样051cnn-gru-attention/ ├── data/ │ ├── load.csv # 原始负荷或温度序列 │ └── preprocess.py # 滑窗、归一化、数据集划分 ├── models/ │ ├── cnn_gru_attention.py # 模型定义 │ └── __init__.py ├── config.py # 所有超参数集中管理 ├── train.py # 训练入口 ├── predict.py # 加载权重做预测 ├── utils.py # 指标计算、绘图等工具 └── requirements.txtdata/load.csv是原始数据通常第一列是时间戳第二列是负荷值preprocess.py负责把 CSV 读进来、处理缺失值、构造滑窗样本train.py是训练入口读 config、构造数据、初始化模型、跑 epochpredict.py负责加载训练好的权重文件做预测并输出结果utils.py里放的是指标计算和画图函数。这个结构不是标准但足够清晰建议你拿到任何代码包之后先按这个思路画一张文件职责图再动手改代码会省很多事。注意看config.py。很多人拿到代码第一件事是改模型结构结果发现训练半天不收敛最后定位到是学习率写死在模型文件里。我的习惯是所有超参数必须集中在 config 里包括 seq_len、pred_len、batch_size、lr、epochs、dropout、hidden_size这样每次跑实验只需要改一个文件方便留痕。如果你拿到的 zip 没有config.py我建议你新建一个哪怕只是把参数从 train.py 里挪出来后面调参会省很多事。3.2 环境准备用 conda 建环境而不是裸装 python这套代码依赖 PyTorch、pandas、numpy、matplotlib、scikit-learn。我不建议直接在基础 python 环境里 pip install因为 torch 的 CUDA 版本和 NumPy 版本冲突是家常便饭装完跑起来全是玄学报错。常见做法是先用 conda 建一个独立环境。conda create -n tsforecast python3.10 -y conda activate tsforecast pip install pandas numpy matplotlib scikit-learn pip install torch --index-url https://download.pytorch.org/whl/cpu如果你机器上有 NVIDIA 显卡并且装好了 CUDA把最后一行换成对应的 cu118 或 cu121 版本就好。先说明一下python3.10不是唯一选择但你用 python 3.9 到 3.11 之间基本都能跑通太新的版本可能遇到某个依赖包还没出对应 wheel 的情况。装完之后用python -c import torch; print(torch.__version__)验证一下能打印版本号就说明环境没问题。这里有个很多人忽略的点torch 的 CPU 版和 GPU 版行为在数值上略有差异同一个随机种子跑出来的结果不完全一样。所以如果你要对比实验结果要么统一用 GPU要么统一用 CPU别混着跑。另外如果你在公司内网pip 下载超时可以临时换一个镜像源用-i参数指定镜像地址。这种网络问题不属于代码问题但会卡住你一下午提前备好镜像源能省很多时间。3.3 滑窗与归一化时序预测最容易写错的一段代码数据处理是整个流程里最不起眼、也最容易出问题的一步。时序预测和数据挖掘不一样不能用train_test_split随机打乱数据否则就是典型的数据泄露后面第 5 章会细说。正确做法是按时间顺序切分前 80% 训练中间 10% 验证最后 10% 测试。滑窗构造样本的代码我一般这样写import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler def create_sequences(data, seq_len, pred_len): X, y [], [] for i in range(len(data) - seq_len - pred_len 1): X.append(data[i:iseq_len]) y.append(data[iseq_len:iseq_lenpred_len]) return np.array(X), np.array(y) # 读取原始数据假设只有一列 load df pd.read_csv(data/load.csv, parse_dates[date]) values df[load].values.reshape(-1, 1) # 先按时间顺序切分再分别做归一化 train_size int(len(values) * 0.8) val_size int(len(values) * 0.1) train_raw values[:train_size] val_raw values[train_size:train_sizeval_size] test_raw values[train_sizeval_size:] scaler StandardScaler() train_scaled scaler.fit_transform(train_raw) val_scaled scaler.transform(val_raw) test_scaled scaler.transform(test_raw) seq_len, pred_len 48, 1 X_train, y_train create_sequences(train_scaled, seq_len, pred_len) X_val, y_val create_sequences(val_scaled, seq_len, pred_len) X_test, y_test create_sequences(test_scaled, seq_len, pred_len)这段代码的逻辑说明create_sequences用滑窗把一维序列切成(样本数, seq_len, 1)的输入和(样本数, pred_len)的目标。注意归一化只对训练集调用fit_transform验证集和测试集只用transform。原因在于fit会计算均值和方差如果用测试集参与计算等于把测试集的统计信息泄露给了模型。参数说明seq_len 是回溯窗口长度短期负荷预测常用 24 或 48小时pred_len 是预测步长单点预测设 1多步预测设 12 或 24。窗口越大样本数越少训练越慢但模型能看到更长的历史依赖。这里没有硬性标准一般先按业务周期定预测未来 1 小时至少要回看过去 24 小时到 48 小时。还要处理缺失值和异常值。CSV 里可能出现某几个小时没有数据最省事的办法是df[load].interpolate(methodlinear)用前后值线性插值补上如果缺失超过连续 6 小时我会直接丢掉这一段因为插值出来的长段假数据会让模型学到错误的形态。异常值用分位数过滤低于 1% 分位或高于 99% 分位的点先可视化确认不是真实尖峰再去掉或替换成中位数。这整段其实也是你日常用 python 做数据分析与可视化时的标准动作读 CSV、清洗缺失值、归一化、构造特征矩阵。唯一要格外小心的是先划分再归一化这个顺序我刚入行时在这上面翻过车后面会展开讲。另外滑窗的步长默认是 1相邻两个样本有大量重叠这会增加训练集的冗余度但能提供更多样本。如果样本量已经很大可以给create_sequences加一个step参数比如step6每 6 小时取一个窗口减少计算量。4. 用 PyTorch 实现 CNN-GRU-Attention 预测模型预处理完数据形状是(样本数, seq_len, features)。这一章给出一个能直接跑起来的最小模型实现包含模型定义、训练循环和一个参数参考表。我不会贴一个几百行的完整工程而是把核心结构讲清楚让你拿到任何一份类似代码都能看懂它在拼什么。4.1 模型结构卷积层、GRU 层、注意力层怎么拼模型类按CNN 提特征 → GRU 学时序 → Attention 加权 → 全连接输出的顺序拼接。核心注意点是卷积之后怎么和 GRU 对齐维度。import torch import torch.nn as nn import torch.nn.functional as F class CNN_GRU_Attention(nn.Module): def __init__(self, input_size, hidden_size, num_layers, dropout, seq_len, pred_len): super().__init__() self.seq_len seq_len self.pred_len pred_len # 一层一维卷积把 input_size 映射到 hidden_size self.conv1 nn.Conv1d(input_size, hidden_size, kernel_size3, padding1) self.conv2 nn.Conv1d(hidden_size, hidden_size, kernel_size3, padding1) self.gru nn.GRU(hidden_size, hidden_size, num_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0) self.attn nn.Linear(hidden_size, 1) self.fc nn.Linear(hidden_size, pred_len) def forward(self, x): # x: (batch, seq_len, input_size) - 转成 (batch, input_size, seq_len) 做卷积 x x.permute(0, 2, 1) x F.relu(self.conv1(x)) x F.relu(self.conv2(x)) # 再转回 (batch, seq_len, hidden_size) 给 GRU x x.permute(0, 2, 1) gru_out, _ self.gru(x) # (batch, seq_len, hidden_size) attn_scores self.attn(gru_out).squeeze(-1) # (batch, seq_len) attn_weights F.softmax(attn_scores, dim1) # 对时间步做归一化 context torch.bmm(attn_weights.unsqueeze(1), gru_out).squeeze(1) # (batch, hidden_size) return self.fc(context)逻辑说明permute是因为 PyTorch 的Conv1d期望输入形状是(batch, channels, length)而我们滑窗出来的数据是(batch, length, features)所以要先交换后两维。卷积做完再交换回来进入 GRU 时保持(batch, seq_len, hidden_size)。注意力部分用Linear(hidden_size, 1)对每个时间步打分softmax在时间步维度归一化最后用torch.bmm做加权求和。这里torch.bmm是批量矩阵乘法能把(batch, 1, seq_len)的权重和(batch, seq_len, hidden_size)的输出乘成(batch, 1, hidden_size)。参数说明kernel_size3加padding1可以保证卷积不改变序列长度这样 GRU 拿到的 seq_len 和输入一致。如果不加 padding序列会越卷越短最后和注意力权重对不上形状。这是最容易被忽略的维度问题。如果你想用更宽的卷积核比如 5padding 要同步改成 2计算公式是padding (kernel_size - 1) // 2。还有一种常见的注意力变体是拿 GRU 最后一个时间步的隐藏状态作为查询向量和所有时间步的输出做点积或加性匹配。这种写法的好处是查询向量是动态的、依赖数据内容的注意力权重的可解释性更强。代码实现上就是把self.attn nn.Linear(hidden_size, 1)改成self.attn nn.Linear(hidden_size * 2, 1)然后把最后一个时间步gru_out[:, -1, :]拼到每个时间步上再打分。两种方式我都试过在不大的数据集上差异很小建议先用最简单的版本跑通。4.2 训练循环一批数据怎么喂进去、损失怎么算训练循环本身不复杂但要注意几个时序预测特有的细节每个 batch 的输入输出要正确切片验证集要在每个 epoch 结束后评估一次并保存验证损失最小的权重。import torch.optim as optim from torch.utils.data import TensorDataset, DataLoader train_dataset TensorDataset(torch.FloatTensor(X_train), torch.FloatTensor(y_train)) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) model CNN_GRU_Attention(input_size1, hidden_size64, num_layers2, dropout0.2, seq_len48, pred_len1) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.MSELoss() epochs 50 best_val_loss float(inf) for epoch in range(epochs): model.train() train_loss 0.0 for x_batch, y_batch in train_loader: optimizer.zero_grad() pred model(x_batch) loss criterion(pred, y_batch) loss.backward() optimizer.step() train_loss loss.item() * x_batch.size(0) train_loss / len(train_dataset) # 验证 model.eval() with torch.no_grad(): val_pred model(torch.FloatTensor(X_val)) val_loss criterion(val_pred, torch.FloatTensor(y_val)).item() if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pt) if (epoch 1) % 10 0: print(fEpoch {epoch1}/{epochs}, train_loss{train_loss:.6f}, val_loss{val_loss:.6f})逻辑说明DataLoader的shuffleTrue只有在样本是独立滑窗时才合理。因为滑窗之间有一定重叠相邻样本来自几乎相同的时间段强行 shuffle 会引入重叠信息但这是可接受的模型并没有看到测试集。真正不能做的是把训练和测试的原始数据混在一起再滑窗。保存权重的时机我放在验证损失最小的 epoch而不是最后一个 epoch。原因很简单训练后期容易过拟合最后一轮的权重往往不是泛化最好的。这个习惯在真实项目里能帮你省下大量重训时间。如果你想做得更细可以加一个patience计数器连续 10 个 epoch 验证损失没有下降就提前停止训练。这个机制叫 early stopping在代码里就是一个简单的 if 判断但能防止你挂机跑一夜后回来发现最后一轮已经过拟合了。损失函数的选择也要看场景。MSE 对大误差的惩罚更重会让模型更努力地拟合极端尖峰这在负荷预测里有时会导致均值偏移HuberLoss 在误差小时表现为 MSE、误差大时表现为 MAE对异常值更鲁棒。如果数据里有突变尖峰我会用nn.SmoothL1Loss(beta1.0)代替nn.MSELoss你可以把两者都跑一遍对比验证损失再决定。4.3 必调参数表seq_len、hidden_size、dropout 这些值怎么定超参数不可能一次调对但可以先从一组保守值起步再按验证损失调。下面是我在负荷预测场景里常用的初始值和调整思路。参数初始值调整方向seq_len48数据周期按小时计就取 24/48按分钟计可以放大到 96pred_len1多步预测按业务需求设12/24 起步hidden_size64样本量小就用 32样本量大可以用 128num_layers2超过 3 层在小数据集上基本必过拟合dropout0.2过拟合加大到 0.4欠拟合减到 0.1batch_size64显存不够就减半不要低于 16lr1e-3损失震荡就降一半长时间不降可以考虑 5e-4kernel_size3想在 CNN 阶段看更宽的模式可以试 5参数说明hidden_size决定了 GRU 和注意力上下文向量的维度它不是越大越好。我曾经把 hidden_size 从 64 提到 128验证损失不降反升因为样本量只有几千条模型容量太大直接记住了训练集的细节。调参的核心原则是先让模型在训练集上过拟合再通过 dropout 和早停往回收。如果你训练集损失都降不下去那问题不在正则化而在学习率或数据预处理。判断过拟合有一个很朴素的方法把训练损失和验证损失画在同一张图上训练损失持续下降、验证损失在某个点开始回升那个转折点就是最佳 epoch。很多人一上来就盯着测试集调参这是错的测试集只能最终评估一次否则你调参调的就是测试集上的过拟合。验证集存在的意义就是让你放心地反复试参数。5. 训练与预测中的 5 个常见坑现象、原因、解决这部分是我觉得比模型代码更值钱的内容。这些坑我在多个项目里踩过也帮同事排查过每一条都按现象→原因→解决写清楚。5.1 数据泄露随机划分训练集导致预测结果虚高现象训练损失降得很漂亮测试集上 MAPE 只有 1% 左右但一上真实数据就完全不准预测曲线像平移了一小段。原因这是最常见的错误。如果直接用train_test_split(X, test_size0.2, random_state42)随机打乱训练集和测试集里会出现同一时间段被劈开的样本。滑窗本来就是滑动构造的相邻样本高度重叠随机划分等于让模型在测试时见过几乎一样的输入测试指标自然虚高。这不是模型强是数据泄露。解决严格按时间顺序划分先切原始序列再分别滑窗。也就是第 3 章里train_raw, val_raw, test_raw那段代码的逻辑。另外归一化也必须先 fit 训练集再 transform 验证集和测试集。检查自己有没有踩这个坑最快的方法是打印训练集和测试集的时间范围看有没有交错。我再加一个保险把训练集最后一个样本的结束时间和测试集第一个样本的开始时间打出来如果测试集开始时间小于训练集结束时间那一定泄露了。5.2 维度对不上GRU 输出和注意力权重形状冲突现象forward 跑到注意力那一步报mat1 and mat2 shapes cannot be multiplied或者The size of tensor a must match the size of tensor b。原因维度对不上的根源通常是 Conv1d 改变了序列长度或者 GRU 没有加batch_firstTrue。比如你设了kernel_size3, padding0输入 seq_len48卷积后变成 46注意力权重是按 46 算的后面全连接却按 48 的预期来接自然报错。解决排查顺序我一般这样走。第一步看卷积层有没有padding1没有就补上保证输出长度等于输入长度。第二步确认 GRU 构造时写了batch_firstTrue这样gru_out的形状才是(batch, seq_len, hidden_size)。第三步在 forward 里临时加一行print(x.shape)把每个阶段的形状打出来看到哪一步变了就能定位。这个问题在跑第一个 batch 时最容易暴露所以调试习惯很重要第 6 章会专门讲。5.3 反归一化丢失预测值整体偏小一个数量级现象模型训练、验证都在正常范围但导出预测结果之后数值全都在 0 到 1 之间或者整体比真实值小了一个数量级。原因训练时输入做了 StandardScaler 归一化模型输出的是归一化后的预测值。如果预测代码里忘了调用scaler.inverse_transform你拿到的就是标准正态空间里的数字不是真实负荷值。这个问题还常见于多步预测pred_len1 时输出形状是(batch, pred_len)反归一化也要对应 reshape。解决预测脚本里必须持有训练时那个 scaler 对象或者把 scaler 的mean_和scale_一起保存到 npz 文件预测完成后调用scaler.inverse_transform(pred.reshape(-1, 1))再 reshape 回(batch, pred_len)。注意不能用测试集重新 fit 一个 scaler那样均值和方差就变了。这条我列在必查清单第一位因为错误从数值上很难发现只有画出真实值和预测值对比图才会露馅。多步预测时的标准写法是这样pred model(torch.FloatTensor(X_test)) # (batch, pred_len) pred_np pred.detach().numpy() pred_inv scaler.inverse_transform(pred_np.reshape(-1, 1)).reshape(pred_np.shape)逻辑说明reshape(-1, 1)是为了满足inverse_transform对输入形状的要求它要求列数和 fit 时一致。单特征时 fit 的输入是(n, 1)所以反归一化也要是(n, 1)处理完再恢复成(batch, pred_len)。如果你的数据是多变量scaler 会对每一列分别存均值和方差反归一化时要把对应的列取出来不要整块操作。5.4 NaN 和梯度爆炸学习率过大带来的玄学故障现象训练到某个 epoch 后loss突然变成nan或者损失值在几个 epoch 内从 0.01 跳到 1e10。排错时发现数据没有缺失值网络结构也正常。原因最常见的两个原因。一个是学习率过大Adam 在 1e-3 以上的学习率配合深层 GRU 很容易让梯度爆炸尤其在数据没有归一化或数据里有极端尖峰时。另一个是数据预处理时把缺失值填充成 0而 0 进过卷积和 GRU 后产生的梯度响应异常。这类问题之所以叫玄学故障是因为它不报错只在 loss 曲线上体现。解决先把学习率降到 1e-4 重新跑如果还炸就在optimizer.step()之前加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。同时检查np.isnan(values).any()确认没有脏数据。我习惯在训练循环里写一个判断如果torch.isnan(loss)直接停止训练并打印当前 epoch这样能立刻定位是哪个阶段炸的。下面这段是带梯度裁剪和 NaN 检查的最小改动for x_batch, y_batch in train_loader: optimizer.zero_grad() pred model(x_batch) loss criterion(pred, y_batch) if torch.isnan(loss): raise RuntimeError(fNaN loss at epoch {epoch}) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()逻辑说明梯度裁剪的作用是把梯度向量的范数限制在 1.0 以内超过的部分等比缩放。它不会改变梯度的方向只限制步长所以不会影响收敛方向。max_norm设 1.0 是比较保守的值设太大会失效设太小会让训练变慢一般从 1.0 开始调。5.5 换台机器跑不出同样结果随机种子没固定现象在同一份代码、同一份数据下换一台机器或者重启内核后重新训练验证损失和指标差很多甚至预测曲线走势都变了。原因PyTorch 在 CPU、GPU 和 cuDNN 三个层面都有随机源。没有设置随机种子的话每个 batch 的权重初始化、数据打乱顺序、卷积算法的选择都是随机的。如果只固定了np.random.seed而没固定torch.manual_seed结果当然不可复现。还有一个隐藏因素DataLoader 的shuffleTrue依赖 Python 的 random 模块所以三个种子都要固定。解决在训练脚本最开头固定所有随机源import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False逻辑说明cudnn.deterministicTrue会强制 cuDNN 使用确定性的卷积算法代价是运行速度略微下降。benchmarkFalse则是禁止它在第一次运行时根据输入形状自动选择最快的算法否则不同机器可能选到不同算法数值会有一点点差异。对于预测任务可复现性比那一点速度重要得多。注意即便如此CPU 和 GPU 之间的结果也无法完全一致跨设备对比时要有心理准备。6. 让预测结果可信评估指标、反归一化与一个小习惯这一章短一点但都是真正影响你交付判断的东西。模型跑通只是第一步怎么让结果经得起推敲才是关键。6.1 三个评估指标MAE、RMSE、MAPE 够用了训练损失用 MSE 是为了梯度好算但给业务方汇报时MSE 的量纲是平方人很难理解。我一般计算三个指标MAE平均绝对误差、RMSE均方根误差、MAPE平均绝对百分比误差。MAPE 最直观但要注意真实值接近 0 的时候它会爆炸所以负荷预测里要过滤掉接近 0 的时段再算。代码很简单from sklearn.metrics import mean_absolute_error, mean_squared_error mae mean_absolute_error(y_true, y_pred) rmse mean_squared_error(y_true, y_pred, squaredFalse) mape np.mean(np.abs((y_true - y_pred) / y_true)) * 100y_true和y_pred都必须是反归一化之后的真实物理量纲用归一化后的数值算指标没有意义。RMSE 比 MAE 对大误差更敏感如果 RMSE 明显大于 MAE说明存在少数几个预测得很差的时间点这时候可以画误差分布图找找是不是某些尖峰时段系统性预测失败。6.2 预测后的反归一化第 5 章提过这个问题这里给一个完整的最小示例训练用StandardScaler拟合训练集预测时加载保存好的 scaler 参数做inverse_transform。多步预测时尤其小心pred形状是(batch, pred_len)反归一化前先 reshape 成(batch*pred_len, 1)反归一化后再 reshape 回去顺序不能反。我已经吃过一次亏当时多步预测结果全部错位就是因为直接对二维数组做了 inverse_transformsklearn 默认按列处理把时间步的顺序搞乱了。6.3 调试小习惯先跑一个 batch我最后想分享一个很多项目里救过我的习惯训练全量数据之前先取一个 batch 跑一次前向和反向确认形状都能对上、loss 能正常下降再开完整训练。sample_x, sample_y next(iter(train_loader)) with torch.no_grad(): sample_pred model(sample_x) print(sample_pred.shape, sample_y.shape) loss criterion(sample_pred, sample_y) loss.backward() print(loss.item())这段代码能在 5 秒内暴露 90% 的维度错误和数据类型错误而不是等训练跑了半小时后才在某个 epoch 报错。我自己的习惯是任何新模型结构都先走这个流程确认没错了再挂机跑实验。这套 051cnn-gru-attention 程序里最值得你先跑的就是这一段。希望这些经验能帮你在自己的预测项目里少走几个弯路也祝你能把这份代码真正跑成自己的基线模型。本文还有配套的精品资源点击获取