简介这份资源面向电力负荷预测方向的学习者与研究人员提供一套基于CNN-GRU-Attention混合神经网络的完整实现方案用于处理时间序列预测中的非线性与长期依赖问题。压缩包共3个文件包含1个Python脚本、1个CSV数据集和1个依赖版本说明文本整体约1.32MB结构精简便于快速复现。其中Python脚本承担数据预处理、模型搭建、训练与评估全流程CSV文件提供历史负荷数据用于训练测试文本文件则锁定依赖库版本以保证环境一致。该方案将CNN的局部特征提取、GRU的长期记忆能力与注意力机制的权重分配相结合可有效提升对负荷变化规律的建模精度。目前已有445人学习下载适合具备一定深度学习基础、希望掌握混合模型实战技巧的读者参考也可迁移至风电功率等相似预测任务。1. 从一次春季负荷尖峰说起CNN-GRU-Attention 到底在预测什么每年三到五月电网调度侧最头疼的不是夏峰也不是冬峰而是这种倒春寒式的负荷抖动早上气温 12℃中午冲到 26℃傍晚一场雨又跌回 14℃日负荷曲线在一天内出现两个甚至三个拐点。传统 ARIMA 或者单一 LSTM 在这种天气突变日往往滞后半天MAPE 从平时的 2% 直接翻到 8% 以上。基于注意力机制 CNN-GRU-Attention 混合神经网络的负荷预测方法本质上就是冲着这类多周期叠加 气象突变场景来的用 CNN 抓局部突变特征用 GRU 抓长时序依赖再用 Attention 给关键时间步加权让模型自己决定哪几个小时的负荷对当前预测最重要。这套结构适合谁如果你手上有至少一年的历史负荷序列15 分钟或 1 小时粒度同时能拿到温度、湿度、节假日标签这类外生变量并且已经跑通过 PyTorch 或 TensorFlow 的基础训练流程那这套混合网络值得投入两到三周做一版基线。它不适合数据只有两三个月、或者连缺失值都没清洗干净的场景——再花哨的注意力机制也救不了脏数据。下面按数据怎么整 → 模型怎么搭 → 参数怎么调 → 坑在哪的顺序把这条路径拆开讲。2. 数据管道与特征工程负荷预测的胜负手在进模型之前2.1 负荷序列的三种清洗动作与缺失值处理策略负荷数据最常见的三种脏法计量终端掉线导致的连续 NaN、检修导致的恒定值段、以及抄表时区错位导致的整体偏移。我一般按这个顺序处理先做时区对齐统一到本地时间去掉夏令时重复小时再标记恒定值段连续 6 个点方差为 0 视为异常最后插补。插补不要一上来就用均值。负荷有强日周期性用前一日同时刻值 当前日相邻点线性插值的加权组合更稳。下面这段是常用的清洗骨架import pandas as pd import numpy as np def clean_load_series(df, time_coltimestamp, load_colload): df df.sort_values(time_col).set_index(time_col) # 1. 重采样到固定频率暴露缺失 df df.asfreq(15min) # 2. 标记恒定值段连续6点相同视为异常 rolling_std df[load_col].rolling(6).std() df.loc[rolling_std 1e-6, load_col] np.nan # 3. 前一日同时刻值作为主插补源 same_time_yesterday df[load_col].shift(96) # 96 24h/15min # 4. 线性插值兜底 linear_fill df[load_col].interpolate(methodlinear, limit8) df[load_col] df[load_col].fillna(same_time_yesterday).fillna(linear_fill) # 5. 剩余长段缺失直接丢弃 df df.dropna(subset[load_col]) return df逻辑说明asfreq强制对齐时间轴把隐式缺失变成显式 NaNrolling(6).std()捕捉恒定值是因为真实负荷不可能连续 1.5 小时纹丝不动shift(96)对应 15 分钟粒度下的一天这个偏移量必须和你的采样频率匹配1 小时粒度就改成 24。参数上limit8表示最多连续插补 2 小时超过就说明是设备级故障插补没有意义。2.2 气象与日历特征的编码方式别把温度当普通数字温度对负荷的影响是非线性的——15℃到 25℃之间负荷平稳超过 30℃或低于 5℃才急剧上升。直接把温度当连续特征喂进去模型要花很多容量去拟合这个非线性。常见做法是做分段编码把温度切成若干区间做 one-hot或者用两个特征分别表示距 25℃的正偏差和负偏差。日历特征同理。星期几用 one-hot 没问题但节假日不能只标 0/1因为春节前后各有一周的低负荷过渡期。我一般加一个距最近节假日的天数特征让模型感知到节前节后的渐变。def build_features(df, temp_coltemp): # 温度双向偏差编码 df[temp_high] np.maximum(df[temp_col] - 25, 0) df[temp_low] np.maximum(25 - df[temp_col], 0) # 周期性时间编码 df[hour_sin] np.sin(2 * np.pi * df.index.hour / 24) df[hour_cos] np.cos(2 * np.pi * df.index.hour / 24) df[dow_sin] np.sin(2 * np.pi * df.index.dayofweek / 7) df[dow_cos] np.cos(2 * np.pi * df.index.dayofweek / 7) return dftemp_high和temp_low把 V 型响应拆成两条单调曲线模型用线性层就能拟合hour_sin/cos保证 23 点和 0 点在特征空间里相邻避免 one-hot 造成的23 和 0 距离最远的假象。这几个特征加上历史负荷的滑窗基本就是混合网络的输入向量了。2.3 滑窗构造与训练集划分时间序列不能随机 shuffle负荷预测的输入是过去 N 步 外生变量输出是未来 M 步。滑窗步长 N 一般取 96一天到 168一周预测步长 M 取 4 到 24。划分训练/验证/测试集必须按时间切绝不能随机打乱否则未来信息泄漏验证集指标会虚高得离谱。def make_windows(data, n_in96, n_out4): X, y [], [] for i in range(len(data) - n_in - n_out): X.append(data[i:in_in]) y.append(data[in_in:in_inn_out, 0]) # 第0列是负荷 return np.array(X), np.array(y) # 按 7:1.5:1.5 时间切分 n len(X) X_train, y_train X[:int(n*0.7)], y[:int(n*0.7)] X_val, y_val X[int(n*0.7):int(n*0.85)], y[int(n*0.7):int(n*0.85)] X_test, y_test X[int(n*0.85):], y[int(n*0.85):]注意y只取负荷列外生变量作为输入特征但不作为预测目标。归一化要用训练集的均值和方差然后应用到验证和测试集这个顺序反了就是典型的数据泄漏。3. CNN-GRU-Attention 网络搭建三条分支怎么接、注意力加在哪3.1 CNN 分支的卷积核设计与感受野计算CNN 分支的作用是从输入序列里提取局部模式比如连续 4 个小时的爬坡或午间负荷凹陷。一维卷积的核大小决定了感受野核大小 3、堆两层感受野就是 5 个时间步核大小 5、堆两层感受野到 9。对于 15 分钟粒度、日周期 96 点的负荷我一般用两层 Conv1d核大小分别 5 和 3通道数 32 和 64。import torch import torch.nn as nn class CNNBranch(nn.Module): def __init__(self, in_channels, hidden64): super().__init__() self.conv1 nn.Conv1d(in_channels, 32, kernel_size5, padding2) self.bn1 nn.BatchNorm1d(32) self.conv2 nn.Conv1d(32, hidden, kernel_size3, padding1) self.bn2 nn.BatchNorm1d(hidden) self.relu nn.ReLU() def forward(self, x): # x: (batch, channels, seq_len) x self.relu(self.bn1(self.conv1(x))) x self.relu(self.bn2(self.conv2(x))) return x # (batch, hidden, seq_len)padding设为kernel_size // 2保证序列长度不变方便后面和 GRU 分支拼接。BatchNorm 放在激活前面是常规做法能显著加快收敛。如果你的数据量小于一万条样本把hidden降到 32否则容易过拟合。3.2 GRU 层的门控机制与隐藏状态维度选择GRU 比 LSTM 少一个门参数少约 25%在负荷预测这种中等规模任务上表现通常不输 LSTM训练还更快。核心是更新门和重置门更新门决定旧状态保留多少重置门决定忽略多少历史。隐藏状态维度一般取 64 或 128太小记不住一周的周期太大在小数据集上过拟合。class GRUBranch(nn.Module): def __init__(self, input_size, hidden64, num_layers2): super().__init__() self.gru nn.GRU(input_size, hidden, num_layers, batch_firstTrue, dropout0.2) def forward(self, x): # x: (batch, seq_len, features) out, _ self.gru(x) return out # (batch, seq_len, hidden)num_layers2加dropout0.2是我在多个负荷数据集上的默认配置。单层 GRU 对突变天气的响应偏慢两层能捕捉更长的依赖但超过三层收益递减还容易梯度消失。3.3 注意力机制的加权逻辑与拼接方式Attention 在这里的作用是给每个时间步算一个权重让模型在预测时聚焦到最相关的历史时刻。常见做法是用加性注意力Bahdanau 式或点积注意力。负荷预测里我倾向加性注意力因为序列不长计算量差异可以忽略而加性注意力对小维度更稳定。class Attention(nn.Module): def __init__(self, hidden): super().__init__() self.attn nn.Sequential( nn.Linear(hidden, hidden // 2), nn.Tanh(), nn.Linear(hidden // 2, 1) ) def forward(self, x): # x: (batch, seq_len, hidden) scores self.attn(x) # (batch, seq_len, 1) weights torch.softmax(scores, dim1) context torch.sum(weights * x, dim1) # (batch, hidden) return context, weightsweights可以可视化这是排查模型是否学到合理模式的利器——如果权重均匀分布说明注意力没起作用可能是学习率太大或者特征太弱。context是加权求和后的向量接一个全连接层输出预测值。3.4 三支路融合与输出层拼接还是相加CNN 分支输出(batch, hidden, seq_len)GRU 分支输出(batch, seq_len, hidden)需要先转置对齐再融合。融合方式有两种逐元素相加或通道拼接。相加参数少、训练稳拼接表达能力强但参数翻倍。我一般先用相加跑基线如果验证集欠拟合再换拼接。class CNNGRUAttention(nn.Module): def __init__(self, in_channels, cnn_hidden64, gru_hidden64, n_out4): super().__init__() self.cnn CNNBranch(in_channels, cnn_hidden) self.gru GRUBranch(in_channels, gru_hidden) self.attn Attention(gru_hidden) self.fc nn.Sequential( nn.Linear(gru_hidden cnn_hidden, 64), nn.ReLU(), nn.Linear(64, n_out) ) def forward(self, x): # x: (batch, seq_len, channels) x_cnn x.permute(0, 2, 1) # - (batch, channels, seq_len) cnn_out self.cnn(x_cnn) # (batch, cnn_hidden, seq_len) cnn_out cnn_out.permute(0, 2, 1) # - (batch, seq_len, cnn_hidden) gru_out self.gru(x) # (batch, seq_len, gru_hidden) context, weights self.attn(gru_out) # (batch, gru_hidden) # 取 CNN 最后时间步作为局部特征摘要 cnn_last cnn_out[:, -1, :] # (batch, cnn_hidden) fused torch.cat([context, cnn_last], dim-1) return self.fc(fused), weights这里 CNN 分支取最后时间步而不是全局池化是因为负荷预测更关心最近一段的局部形态。如果你预测的是整段未来曲线可以把 CNN 输出也过一遍注意力。返回weights是为了训练中途可视化生产环境可以去掉。4. 训练配置与调参学习率、损失函数、早停的实操参数4.1 损失函数选择MSE、MAE 还是分位数损失负荷预测的误差代价不对称——低估尖峰导致备用不足高估导致机组浪费。纯 MSE 对大误差惩罚重但会被少数尖峰主导。我一般用 Huber 损失平滑 L1在误差小于 delta 时表现为 MSE超过时表现为 MAE兼顾稳定和鲁棒。criterion nn.HuberLoss(delta1.0) optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 )delta1.0对应归一化后的负荷尺度如果你的负荷归一化到 [0,1]这个值合适如果没归一化要按实际量级调整。weight_decay1e-5是轻量正则负荷预测数据量通常不大正则能压住过拟合。ReduceLROnPlateau在验证损失 5 个 epoch 不降时把学习率减半比固定衰减更适应不同数据集。4.2 批次大小、序列长度与显存占用的权衡批次大小 64 或 128 是常见起点。序列长度 96、隐藏维度 64、两层 GRU 的模型单样本显存占用大约几 MB消费级显卡跑 128 批次没问题。如果你把序列拉到 672一周 15 分钟粒度批次要降到 32 以下。参数推荐值调整方向批次大小64~128显存不足减半初始学习率1e-3震荡则降到 3e-4GRU 隐藏维度64欠拟合升到 128CNN 通道数32→64数据多可加倍dropout0.2过拟合升到 0.3~0.4早停耐心10 epoch数据噪声大加到 154.3 早停与模型保存验证集指标怎么选早停的监控指标不要用 loss要用业务指标 MAPE 或 RMSE。loss 下降不代表 MAPE 下降尤其在有尖峰的数据上。保存验证集 MAPE 最低的模型权重而不是最后一个 epoch。best_mape float(inf) patience_counter 0 for epoch in range(200): model.train() for xb, yb in train_loader: optimizer.zero_grad() pred, _ model(xb) loss criterion(pred, yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() model.eval() val_mape evaluate_mape(model, val_loader) scheduler.step(val_mape) if val_mape best_mape: best_mape val_mape torch.save(model.state_dict(), best_model.pt) patience_counter 0 else: patience_counter 1 if patience_counter 10: breakclip_grad_norm_是 GRU 训练的后悔药梯度爆炸在长序列上很常见加上它训练曲线会平滑很多。max_norm1.0是保守值如果发现梯度经常被裁说明学习率偏大。5. 避坑与排查五个让 MAPE 翻倍的隐蔽问题5.1 现象验证集 MAPE 只有 2%测试集飙到 15%原因滑窗构造时训练集和验证集之间有重叠或者归一化用了全量数据的统计量。这是最隐蔽的数据泄漏因为验证阶段完全看不出来。解决严格按时间切分切分点之后的数据在训练阶段完全不可见归一化统计量只从训练集计算。检查方法是打印三个集合的时间范围确认没有交集。5.2 现象注意力权重可视化后几乎均匀分布原因学习率太大导致注意力层梯度噪声大或者输入特征区分度不够比如所有外生变量都做了 min-max 归一化方差被压平。解决把学习率降到 3e-4 重跑检查特征方差对低方差特征做标准化而不是 min-max如果还是均匀说明这个数据集上注意力确实没增益可以退化成平均池化至少省参数。5.3 现象训练 loss 正常下降但预测曲线整体滞后一个时间步原因滑窗的输入和输出错位常见于shift操作写错方向或者y的索引取了in_in却忘了减 1。解决用一条已知的简单序列比如正弦波做单元测试打印输入窗口和对应输出肉眼确认对齐关系。这个 bug 我踩过两次每次都是靠正弦波测试抓出来的。5.4 现象GRU 层数加到 3 层后验证损失反而上升原因负荷序列的有效依赖长度通常不超过 168 步三层 GRU 的参数容量远超需求在小数据集上直接过拟合同时深层 GRU 的梯度传播路径变长训练不稳定。解决回到两层把省下的参数预算加到 CNN 通道数或全连接层宽度上。如果确实需要更长依赖优先加注意力而不是加 GRU 层数。5.5 现象不同随机种子跑出来的 MAPE 波动超过 3 个百分点原因数据量小 初始化敏感。负荷预测数据集通常只有几千到几万条样本随机初始化对最终结果影响很大。解决固定所有随机种子torch.manual_seed、np.random.seed跑 5 个种子取平均作为报告指标如果波动仍然大说明模型容量过大先降隐藏维度。6. 进阶技巧用注意力权重做预测区间的自适应校准模型跑通之后真正拉开差距的不是再堆层数而是把注意力权重用起来做不确定性估计。思路很简单注意力权重反映了模型对历史信息的聚焦程度聚焦越集中说明模型越自信预测区间可以收窄权重越分散说明模型越犹豫区间应该放宽。具体做法是在验证集上统计每个样本的注意力熵权重分布的香农熵然后按熵分位数把样本分成高置信和低置信两组分别计算两组的残差标准差作为预测区间的缩放系数。def attention_entropy(weights): # weights: (batch, seq_len) eps 1e-8 return -torch.sum(weights * torch.log(weights eps), dim1) # 验证集上收集熵和残差 entropies, residuals [], [] model.eval() with torch.no_grad(): for xb, yb in val_loader: pred, w model(xb) ent attention_entropy(w.squeeze(-1)) entropies.append(ent.cpu()) residuals.append((pred - yb).abs().mean(dim1).cpu()) entropies torch.cat(entropies) residuals torch.cat(residuals) # 按熵中位数分两组算各自的残差标准差 median_ent entropies.median() low_conf_std residuals[entropies median_ent].std() high_conf_std residuals[entropies median_ent].std()attention_entropy越大表示权重越分散。实际用的时候对每个新样本先算熵高于中位数就用low_conf_std作为 95% 区间的缩放系数约 1.96 倍低于就用high_conf_std。这样得到的预测区间比固定宽度更贴合实际风险调度侧用起来也更有依据。这个技巧我在两个省级负荷数据集上试过高置信组的区间覆盖率能到 93% 以上低置信组也能保持在 88% 左右比不分组的固定区间覆盖率稳定得多。代价是要多存一份验证集的熵分布推理时多算一次熵开销可以忽略。最后说个习惯每次改完模型结构我都会先用一个极小的子集比如 500 条样本跑 20 个 epoch确认 loss 能降到接近零。如果连这个小数据集都过拟合不了说明结构或数据管道有 bug不用浪费算力跑全量。这个先过拟合小样本的检查帮我省过至少一周的无效调参时间。希望帮到你。本文还有配套的精品资源点击获取