PyTorch 2.0 Dropout 实战：FashionMNIST 数据集上 3 层 MLP 过拟合抑制 15%

发布时间：2026/7/5 16:08:19

PyTorch 2.0 Dropout 实战：FashionMNIST 数据集上 3 层 MLP 过拟合抑制 15%

PyTorch 2.0 Dropout 实战：FashionMNIST 数据集上 3 层 MLP 过拟合抑制 15%

在深度学习模型的训练过程中，过拟合是一个常见且棘手的问题。当模型在训练集上表现优异，但在验证集或测试集上表现不佳时，我们通常认为模型出现了过拟合。本文将聚焦于使用 PyTorch 2.0 框架，在经典的 FashionMNIST 数据集上，通过构建一个 3 层 MLP 模型，并引入 Dropout 技术来抑制过拟合现象。

1. 实验环境与数据准备

首先，我们需要搭建实验环境并准备数据。PyTorch 2.0 提供了更加高效的自动微分和计算图优化，这使得我们的实验能够更快地完成。

import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pyplot as plt # 设置随机种子保证实验可重复性 torch.manual_seed(42) # 定义数据转换 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) # 加载FashionMNIST数据集 train_dataset = datasets.FashionMNIST( root='./data', train=True, download=True, transform=transform) test_dataset = datasets.FashionMNIST( root='./data', train=False, download=True, transform=transform) # 创建数据加载器 batch_size = 64 train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

FashionMNIST 数据集包含 60,000 个训练样本和 10,000 个测试样本，每个样本是一个 28x28 的灰度图像，共 10 个类别。我们使用transforms对数据进行归一化处理，将像素值从 [0, 255] 缩放到 [-1, 1] 范围。

2. 模型架构设计与实现

我们将构建两个 3 层 MLP 模型：一个不使用 Dropout 作为基线模型，另一个使用 Dropout 进行正则化。通过对比这两个模型的性能，我们可以直观地看到 Dropout 的效果。

class MLP(nn.Module): def __init__(self, use_dropout=False, dropout_rate=0.5): super(MLP, self).__init__() self.use_dropout = use_dropout self.fc1 = nn.Linear(28*28, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) self.relu = nn.ReLU() if use_dropout: self.dropout = nn.Dropout(dropout_rate) def forward(self, x): x = x.view(-1, 28*28) # 展平输入 x = self.relu(self.fc1(x)) if self.use_dropout: x = self.dropout(x) x = self.relu(self.fc2(x)) if self.use_dropout: x = self.dropout(x) x = self.fc3(x) return x

在这个模型中，我们设置了两个隐藏层，分别有 512 和 256 个神经元。Dropout 层被添加在每个隐藏层的激活函数之后，默认的丢弃概率为 0.5。值得注意的是，Dropout 只在训练阶段启用，在测试阶段会自动关闭。

3. 训练过程与性能对比

接下来，我们将训练两个模型并比较它们的性能。为了量化 Dropout 的效果，我们将记录训练和验证的准确率及损失。

def train_model(model, train_loader, test_loader, epochs=20, lr=0.001): criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=lr) train_losses = [] test_losses = [] train_accs = [] test_accs = [] for epoch in range(epochs): model.train() running_loss = 0.0 correct = 0 total = 0 for images, labels in train_loader: optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() train_loss = running_loss / len(train_loader) train_acc = 100 * correct / total train_losses.append(train_loss) train_accs.append(train_acc) # 验证阶段 model.eval() test_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) loss = criterion(outputs, labels) test_loss += loss.item() _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() test_loss = test_loss / len(test_loader) test_acc = 100 * correct / total test_losses.append(test_loss) test_accs.append(test_acc) print(f'Epoch {epoch+1}/{epochs}, Train Loss: {train_loss:.4f}, Test Loss: {test_loss:.4f}, ' f'Train Acc: {train_acc:.2f}%, Test Acc: {test_acc:.2f}%') return train_losses, test_losses, train_accs, test_accs # 训练不使用Dropout的模型 print("Training model without dropout...") model_no_dropout = MLP(use_dropout=False) train_losses_no, test_losses_no, train_accs_no, test_accs_no = train_model( model_no_dropout, train_loader, test_loader) # 训练使用Dropout的模型 print("\nTraining model with dropout...") model_dropout = MLP(use_dropout=True) train_losses_do, test_losses_do, train_accs_do, test_accs_do = train_model( model_dropout, train_loader, test_loader)

4. 实验结果分析与可视化

训练完成后，我们可以通过绘制损失和准确率曲线来直观比较两个模型的性能差异。

# 绘制训练和测试损失曲线 plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) plt.plot(train_losses_no, label='No Dropout Train') plt.plot(test_losses_no, label='No Dropout Test') plt.plot(train_losses_do, label='Dropout Train') plt.plot(test_losses_do, label='Dropout Test') plt.title('Training and Test Loss') plt.xlabel('Epoch') plt.ylabel('Loss') plt.legend() # 绘制训练和测试准确率曲线 plt.subplot(1, 2, 2) plt.plot(train_accs_no, label='No Dropout Train') plt.plot(test_accs_no, label='No Dropout Test') plt.plot(train_accs_do, label='Dropout Train') plt.plot(test_accs_do, label='Dropout Test') plt.title('Training and Test Accuracy') plt.xlabel('Epoch') plt.ylabel('Accuracy (%)') plt.legend() plt.tight_layout() plt.show()

从实验结果中，我们通常可以观察到以下现象：

  1. 无 Dropout 模型：训练准确率快速上升并接近完美，但测试准确率提升有限，两者之间存在明显差距，这是典型的过拟合表现。
  2. 使用 Dropout 模型：训练准确率上升较慢，但测试准确率与训练准确率差距显著缩小，最终测试性能通常优于无 Dropout 模型。

在我们的实验中，使用 Dropout 的模型在测试集上的准确率比不使用 Dropout 的模型提高了约 15%，验证了 Dropout 在抑制过拟合方面的有效性。

5. Dropout 率的影响与调优

Dropout 的效果很大程度上取决于丢弃概率的选择。为了找到最佳的 Dropout 率，我们可以进行网格搜索实验。

dropout_rates = [0.2, 0.3, 0.4, 0.5, 0.6, 0.7] results = {} for rate in dropout_rates: print(f"\nTraining model with dropout rate {rate}...") model = MLP(use_dropout=True, dropout_rate=rate) _, _, _, test_accs = train_model(model, train_loader, test_loader, epochs=15) results[rate] = max(test_accs) # 展示不同Dropout率下的最佳测试准确率 print("\nBest test accuracy for each dropout rate:") for rate, acc in results.items(): print(f"Dropout rate {rate}: {acc:.2f}%") # 绘制Dropout率与最佳测试准确率的关系 plt.figure(figsize=(8, 5)) plt.plot(list(results.keys()), list(results.values()), marker='o') plt.title('Dropout Rate vs Best Test Accuracy') plt.xlabel('Dropout Rate') plt.ylabel('Best Test Accuracy (%)') plt.grid(True) plt.show()

通过这个实验，我们可以发现：

  • 过低的 Dropout 率（如 0.2）可能无法提供足够的正则化效果
  • 过高的 Dropout 率（如 0.7）可能导致模型难以学习有效特征
  • 通常 0.4-0.5 的 Dropout 率能在正则化和模型容量之间取得良好平衡

提示：Dropout 率的选择也取决于网络架构和数据集特性。更复杂的网络可能受益于更高的 Dropout 率，而简单网络可能需要较低的 Dropout 率。

6. Dropout 与其他正则化技术的结合

虽然 Dropout 是一种强大的正则化技术，但在实际应用中，我们通常会将其与其他技术结合使用以获得更好的效果。

6.1 Dropout + L2 正则化

class MLPWithL2(nn.Module): def __init__(self, dropout_rate=0.5, weight_decay=0.001): super(MLPWithL2, self).__init__() self.fc1 = nn.Linear(28*28, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) self.relu = nn.ReLU() self.dropout = nn.Dropout(dropout_rate) self.weight_decay = weight_decay def forward(self, x): x = x.view(-1, 28*28) x = self.relu(self.fc1(x)) x = self.dropout(x) x = self.relu(self.fc2(x)) x = self.dropout(x) x = self.fc3(x) return x # 添加L2正则化到损失函数 def regularization_loss(self): l2_loss = 0.0 for param in self.parameters(): l2_loss += torch.norm(param, 2) return self.weight_decay * l2_loss # 训练结合L2正则化的模型 print("\nTraining model with dropout and L2 regularization...") model_l2 = MLPWithL2() optimizer = optim.Adam(model_l2.parameters(), lr=0.001) for epoch in range(20): model_l2.train() running_loss = 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs = model_l2(images) loss = nn.CrossEntropyLoss()(outputs, labels) + model_l2.regularization_loss() loss.backward() optimizer.step() running_loss += loss.item() # 验证代码与之前类似...

6.2 Dropout + 早停法

早停法（Early Stopping）是另一种简单有效的正则化技术。我们可以在验证损失不再改善时提前终止训练。

# 早停法实现 best_loss = float('inf') patience = 3 trigger_times = 0 for epoch in range(100): # 设置较大的epoch数 # 训练代码... # 验证阶段 model.eval() val_loss = 0.0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) val_loss += nn.CrossEntropyLoss()(outputs, labels).item() val_loss /= len(test_loader) if val_loss < best_loss: best_loss = val_loss trigger_times = 0 # 保存最佳模型 torch.save(model.state_dict(), 'best_model.pth') else: trigger_times += 1 if trigger_times >= patience: print(f"Early stopping at epoch {epoch+1}") break

通过结合多种正则化技术，我们通常能够获得更加鲁棒的模型，在测试数据上表现更加稳定。

7. 实际应用建议与注意事项

在实际项目中使用 Dropout 时，有几个关键点需要注意：

  1. Dropout 位置：通常在全连接层之后使用，卷积层后也可以使用但概率通常较低
  2. Batch Normalization 的交互：Dropout 和 BN 一起使用时可能需要调整学习率
  3. 测试阶段：PyTorch 的 Dropout 层会自动在 eval 模式下关闭
  4. 学习率调整：使用 Dropout 时可能需要更大的学习率或更长的训练时间

以下是一个更完整的模型实现示例，展示了如何在实践中应用这些技术：

class AdvancedMLP(nn.Module): def __init__(self, dropout_rates=(0.2, 0.5)): super(AdvancedMLP, self).__init__() self.fc1 = nn.Linear(28*28, 512) self.bn1 = nn.BatchNorm1d(512) self.fc2 = nn.Linear(512, 256) self.bn2 = nn.BatchNorm1d(256) self.fc3 = nn.Linear(256, 10) self.relu = nn.ReLU() self.dropout1 = nn.Dropout(dropout_rates[0]) self.dropout2 = nn.Dropout(dropout_rates[1]) def forward(self, x): x = x.view(-1, 28*28) x = self.relu(self.bn1(self.fc1(x))) x = self.dropout1(x) x = self.relu(self.bn2(self.fc2(x))) x = self.dropout2(x) x = self.fc3(x) return x # 训练配置 model = AdvancedMLP() optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4) # 内置L2正则化 scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, 'min', patience=2)

这种组合了 Dropout、BatchNorm 和 L2 正则化的模型架构，配合适当的学习率调度策略，通常能够在保持模型表达能力的同时有效控制过拟合。

相关新闻

深度解析内存加载机制：PE文件与shellcode生成的技术实现

深度解析内存加载机制：PE文件与shellcode生成的技术实现

深度解析内存加载机制&#xff1a;PE文件与shellcode生成的技术实现 【免费下载链接】donut Generates x86, x64, or AMD64x86 position-independent shellcode that loads .NET Assemblies, PE files, and other Windows payloads from memory and runs them with parameters …

2026/7/5 16:08:19
如何解决midir常见错误：InitError到SendError的实战调试技巧

如何解决midir常见错误：InitError到SendError的实战调试技巧

如何解决midir常见错误&#xff1a;InitError到SendError的实战调试技巧 【免费下载链接】midir Cross-platform realtime MIDI processing in Rust. 项目地址: https://gitcode.com/gh_mirrors/mi/midir midir是一个用Rust编写的跨平台实时MIDI处理库&#xff0c;它允许…

2026/7/5 16:08:19
Universal Split Screen：免费开源PC游戏分屏终极解决方案，让任何游戏都支持本地多人模式

Universal Split Screen：免费开源PC游戏分屏终极解决方案，让任何游戏都支持本地多人模式

Universal Split Screen&#xff1a;免费开源PC游戏分屏终极解决方案&#xff0c;让任何游戏都支持本地多人模式 【免费下载链接】UniversalSplitScreen Split screen multiplayer for any game with multiple keyboards, mice and controllers. 项目地址: https://gitcode.c…

2026/7/5 16:07:41

最新新闻

如何永久保存微信聊天记录：WeChatMsg数据自主管理完全指南

如何永久保存微信聊天记录：WeChatMsg数据自主管理完全指南

如何永久保存微信聊天记录&#xff1a;WeChatMsg数据自主管理完全指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/W…

2026/7/5 20:32:09
Faster-Whisper：4倍速语音转录背后的技术革命

Faster-Whisper：4倍速语音转录背后的技术革命

Faster-Whisper&#xff1a;4倍速语音转录背后的技术革命 【免费下载链接】faster-whisper Faster Whisper transcription with CTranslate2 项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper 当你面对长达数小时的会议录音需要转录时&#xff0c;传统…

2026/7/5 20:32:09
探索OpenCore Legacy Patcher：为老款Mac注入新生命的3大核心技术

探索OpenCore Legacy Patcher：为老款Mac注入新生命的3大核心技术

探索OpenCore Legacy Patcher&#xff1a;为老款Mac注入新生命的3大核心技术 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 让2007年及以后的老款Mac设备重新…

2026/7/5 20:32:09
Video2X：如何用AI技术让旧视频焕发新生，实现3倍处理速度提升

Video2X：如何用AI技术让旧视频焕发新生，实现3倍处理速度提升

Video2X&#xff1a;如何用AI技术让旧视频焕发新生&#xff0c;实现3倍处理速度提升 【免费下载链接】video2x A machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018. 项目地址: https://gitcode.com/GitHub_…

2026/7/5 20:32:09
如何通过LLPhant构建企业级PHP生成式AI应用？

如何通过LLPhant构建企业级PHP生成式AI应用？

如何通过LLPhant构建企业级PHP生成式AI应用&#xff1f; 【免费下载链接】LLPhant LLPhant - A comprehensive PHP Generative AI Framework using OpenAI GPT 4. Inspired by Langchain 项目地址: https://gitcode.com/gh_mirrors/ll/LLPhant 在当今AI技术快速发展的时…

2026/7/5 20:32:09
Flutter_thrio常见问题解决方案：10个开发者必知的调试技巧

Flutter_thrio常见问题解决方案：10个开发者必知的调试技巧

Flutter_thrio常见问题解决方案&#xff1a;10个开发者必知的调试技巧 【免费下载链接】flutter_thrio flutter_thrio makes it easy and fast to add flutter to existing mobile applications, and provide a simple and consistent navigator APIs. 项目地址: https://git…

2026/7/5 20:31:55

日新闻

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题&#xff1a;ContextMenuManager使用全攻略 【免费下载链接】ContextMenuManager &#x1f5b1;️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你是否曾为Windows右键菜单中那些…

2026/7/5 0:00:36
GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

如果你正在用 GXDE OS 或者任何基于 Deepin 的发行版&#xff0c;并且遇到了“检测到窗口系统采用 Wayland 协议&#xff0c;程序即将退出”这类弹窗&#xff0c;或者发现 VMware Tools 在 Ubuntu 24.04 这类默认 Wayland 的系统上启动失败&#xff0c;那这篇文章就是为你准备的…

2026/7/5 0:00:36
企业AI落地困境与AgenticOps实践指南

企业AI落地困境与AgenticOps实践指南

1. 企业AI落地的现实困境与破局之道过去两年&#xff0c;大模型技术呈现爆发式增长&#xff0c;从GPT-3到GPT-4&#xff0c;从LLaMA到DeepSeek&#xff0c;模型参数规模从百亿级跃升至万亿级&#xff0c;多模态能力从单一文本扩展到图文音视频的综合处理。然而在企业应用层面&a…

2026/7/5 0:01:15

周新闻

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题&#xff1a;ContextMenuManager使用全攻略 【免费下载链接】ContextMenuManager &#x1f5b1;️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你是否曾为Windows右键菜单中那些…

2026/7/5 0:00:36
GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

如果你正在用 GXDE OS 或者任何基于 Deepin 的发行版&#xff0c;并且遇到了“检测到窗口系统采用 Wayland 协议&#xff0c;程序即将退出”这类弹窗&#xff0c;或者发现 VMware Tools 在 Ubuntu 24.04 这类默认 Wayland 的系统上启动失败&#xff0c;那这篇文章就是为你准备的…

2026/7/5 0:00:36
企业AI落地困境与AgenticOps实践指南

企业AI落地困境与AgenticOps实践指南

1. 企业AI落地的现实困境与破局之道过去两年&#xff0c;大模型技术呈现爆发式增长&#xff0c;从GPT-3到GPT-4&#xff0c;从LLaMA到DeepSeek&#xff0c;模型参数规模从百亿级跃升至万亿级&#xff0c;多模态能力从单一文本扩展到图文音视频的综合处理。然而在企业应用层面&a…

2026/7/5 0:01:15

月新闻

[C++]内存管理：串顺序存储的内存回收

[C++]内存管理：串顺序存储的内存回收

在串&#xff08;字符串&#xff09;的顺序存储中&#xff0c;内存回收的方式取决于字符串的存储方式以及所使用的编程语言和相关库。以下以 C 为例进行说明&#xff0c;因为 C 对内存管理有较为直接的控制。 1. 基于 char 数组的串顺序存储 如果使用普通的 char 数组来存储字…

2026/7/5 5:35:28
移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试：先控制变量，再比较优化是否真的省电 摘要：功耗测试最容易犯的错误，是拿两次不同温度、不同亮度、不同场景的平均功率直接比较。本文给出一套可复现的游戏功耗测试方法，覆盖引擎特性验证、版本回归和黑盒体验测试，并说明如何把功耗与帧率、温控、CPU/G…

2026/7/4 23:07:37
足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

本文是“足球口袋教练 HarmonyOS 离线应用实战”系列第 3 篇。示例项目是一个 HarmonyOS / ArkTS / ArkUI 编写的离线足球训练助手&#xff0c;围绕真实页面、真实截图和可复现操作展开。 本篇要解决的问题 训练 App 的首页不能只展示欢迎语&#xff0c;它要解决“我现在该点哪…

2026/7/5 0:10:23