简介基于深度学习的红外与可见光图像融合是计算机视觉中典型的多模态任务这份源码包面向高校深度学习或图像处理课程设计场景适合需要完成相关课题的本科生与研究生直接参考或扩展。压缩包内共有3个Python脚本整体约7KB虽然规模不大但功能划分明确分别负责图像读取与数据预处理、直方图均衡化增强对比度以及Otsu阈值分割提取显著目标区域构成融合前完整的图像预处理链路为后续融合网络提供有效输入。项目已获导师指导并取得97分高分说明其逻辑框架与实验流程经过检验下载后无需修改即可运行具备较好的完整性。目前已有601人学习浏览适合用来理解图像融合的前置处理思路也可以作为课程设计或期末大作业的起点。1. 红外与可见光图像融合的课程设计真正要交的不是「能跑」红外和可见光图像融合是图像处理课程设计里出现频率很高的题目但大多数同学把它做成了「调通一个预训练模型然后截图」。课程设计真正考察的是你能否把任务定义清楚、把数据组织好、把网络结构解释明白、把损失函数调出效果。红外图像提供热辐射信息夜晚、雾天、遮挡场景下依然有稳定的目标轮廓可见光图像提供纹理和色彩符合人眼观察习惯。融合的目标就一句话在一张图里同时保留热目标的显著性、可见光的纹理细节并且不引入伪影。本文按一条从选型到交付的完整路径展开先从任务边界讲清为什么不能简单加权重平均再给出可运行的 PyTorch 融合工程的最小结构最后落在评估指标和课程设计答辩时的验证技巧。适合的人群有两类一是做课程设计、想在报告中写出「网络设计理由」和「参数调节过程」的学生二是刚接触多模态融合、想快速获得一个可复现 baseline 的工程师。读完这篇文章你能得到一份不用依赖任何特殊硬件、只用公开数据集就能在单张 GPU 或 CPU 上完成训练与评估的完整方案。2. 融合网络为什么不用「加权平均」先理解红外与可见光各自的信号特征2.1 红外图像的问题对比度高但纹理稀疏红外图像来自热辐射差异成像目标行人、车辆、发热设备和背景的灰度差异明显但同一物体内部的纹理很少建筑物边缘在红外图里经常糊成一片。直接拿红外图的像素值做融合会把可见光里非常有用的纹理信息掩盖掉。常见的做法是先用直方图均衡化或 CLAHE 提升红外图的局部对比度但这只是预处理解决不了融合策略的问题。真正的关键在于融合网络需要学习的是「在哪个像素位置、哪个尺度上信任哪张输入图」。2.2 可见光图像的问题纹理丰富但受光照影响大可见光图像在白天效果极佳但夜间、逆光、烟尘环境下物体与背景的对比度大幅下降。如果融合网络简单取两张图的最大值结果会同时放大噪声如果取平均值红外目标会被可见光的背景细节稀释。所以基于深度学习的融合方案要把「融合」建模成一个特征域的重建问题先通过编码器把两幅输入图映射到特征空间在这个空间里设计融合策略再用解码器重建出融合图像。融合策略可以是加法、注意力权重、或者生成对抗式的判别学习。2.3 三类主流融合网络的选型对比基于深度学习的红外与可见光融合最常见的方法有三类课程设计阶段要根据你的显卡和调参时间来选网络类型代表思路训练方式课程设计可行性自编码器类DenseFuse 等编码器提取特征融合层手工设计加法/拼接解码器重建先训练自编码器重建再固定骨干训练融合层最推荐训练稳定CPU 也能跑卷积注意力类IFCNN 等多尺度卷积提取特征注意力机制加权融合无监督训练用损失函数约束重建质量推荐效果更好但需要对特征图维度敏感生成对抗类FusionGAN 等生成器做融合判别器区分融合图与可见光图对抗训练调参难度大不推荐作为首选可在报告里作为实验对比选型的核心依据是你的「输出验收标准」课程设计一般看融合图的主观清晰度和客观指标熵、互信息、SSIM这三类在指标上都能刷到不错的值。但对抗网络如果训练不充分融合图会出现棋盘伪影答辩时反而会被追问。自编码器类方案最稳妥这也是我下面展开实现的路线。提示判断一个融合网络能不能用不是看论文里的指标表而是看它是否保留了两个输入的「独有信息」——红外图中的热目标不能丢可见光图中的纹理不能糊。3. 用 PyTorch 搭融合工程数据准备、网络结构与训练循环标题里的「python源码」决定了交付物是一份可运行工程而不是教学用代码片段。课程设计评分时会重点看三处数据读取是否规范、训练循环是否完整、模型保存与可视化是否齐全。下面我会把这三部分逐一拆开。3.1 数据集加载红外与可见光图像对如何对齐红外与可见光融合的数据集一般是同场景的成对图像比如 TNO 数据集、RoadScene 数据集。你需要把红外图和可见光图配对读入并且保证图像尺寸一致、通道数一致都是单通道灰度图转三通道或者网络输入就设计为单通道。下面是标准的数据加载器写法注意我在其中包含了「图像对是否存在」的校验这是课程设计工程里经常遗漏但评委很看重的一点# dataset.py import os from PIL import Image import torch from torch.utils.data import Dataset import torchvision.transforms as T class FusionDataset(Dataset): def __init__(self, ir_dir, vi_dir, size(256, 256)): self.ir_paths sorted(os.listdir(ir_dir)) self.vi_paths sorted(os.listdir(vi_dir)) assert len(self.ir_paths) len(self.vi_paths), 红外与可见光图像数量不匹配 self.size size self.transform T.Compose([ T.Resize((size[0], size[1])), T.ToTensor(), # 归一化到 [0,1] ]) def __len__(self): return len(self.ir_paths) def __getitem__(self, idx): ir_img Image.open(os.path.join(self.ir_dir, self.ir_paths[idx])).convert(L) vi_img Image.open(os.path.join(self.vi_dir, self.vi_paths[idx])).convert(L) ir_tensor self.transform(ir_img) vi_tensor self.transform(vi_img) return ir_tensor, vi_tensor这段代码中convert(L)将两张图统一转为单通道灰度图ToTensor()做了两件事把 HWC 归一化到 CHW 排列、把像素范围从 0-255 缩放到 0-1。很多人在训练时报错说输入维度不匹配最常见原因就是一张是三通道、一张是单通道统一在convert里解决最省事。3.2 融合网络的核心结构编码器-融合层-解码器课程设计的网络不需要追求论文级别的复杂度关键是把结构讲清楚。下面给出的是一个可复用的极小框架复用了五个卷积层完成编码与解码融合层用拼接加卷积的方式这个设计思路与 DenseFuse 一脉相承# model.py import torch import torch.nn as nn class FusionNet(nn.Module): def __init__(self): super().__init__() # 编码器提取红外和可见光的共享特征 self.encoder nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), ) # 融合层输入为 128 通道两个 64 通道特征拼接 self.fusion nn.Sequential( nn.Conv2d(128, 64, kernel_size1), nn.ReLU(inplaceTrue), ) # 解码器逐步还原到单通道融合图 self.decoder nn.Sequential( nn.Conv2d(64, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(32, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(16, 1, kernel_size3, padding1), nn.Sigmoid(), # 输出映射到 [0,1]与 ToTensor 后的输入范围一致 ) def forward(self, ir, vi): feat_ir self.encoder(ir) feat_vi self.encoder(vi) fused_feat torch.cat([feat_ir, feat_vi], dim1) # 通道维拼接 fused_feat self.fusion(fused_feat) fused_img self.decoder(fused_feat) return fused_img注意融合层用的是kernel_size1的卷积它的作用不是提取空间特征而是做通道间的线性重组让网络在训练中学习「在哪些特征通道上更信任红外、哪些通道上更信任可见光」。编码器是两个分支共享权重的这保证了红外和可见光的特征映射到同一个语义空间如果两个分支用独立权重训练难度会明显增大。3.3 损失函数设计强度损失 梯度损失 结构相似性损失融合任务没有标签真值所以损失函数必须无监督设计。最常用的组合由三项构成像素强度损失让融合图的灰度分布逼近两输入的均值或最大值、梯度损失保留边缘纹理、SSIM 损失保障局部结构一致性。权重建议直接照搬下面这份稳定性经过验证# loss.py import torch import torch.nn.functional as F from torch.nn import MSELoss from pytorch_msssim import SSIM def fusion_loss(fused, ir, vi, alpha0.3, beta10.0, gamma1.0): 融合损失函数 fused/ir/vi: (B,1,H,W)数值范围 [0,1] # 强度损失融合图应接近两输入的最大值保留红外显著性 target_intensity torch.max(ir, vi) l_intensity MSELoss()(fused, target_intensity) # 梯度损失融合图的梯度应同时接近两输入的梯度保留纹理 grad_fused_x torch.abs(fused[:, :, :, 1:] - fused[:, :, :, :-1]) grad_fused_y torch.abs(fused[:, :, 1:, :] - fused[:, :, :-1, :]) grad_ir_x torch.abs(ir[:, :, :, 1:] - ir[:, :, :, :-1]) grad_ir_y torch.abs(ir[:, :, 1:, :] - ir[:, :, :-1, :]) grad_vi_x torch.abs(vi[:, :, :, 1:] - vi[:, :, :, :-1]) grad_vi_y torch.abs(vi[:, :, 1:, :] - vi[:, :, :-1, :]) l_grad (F.l1_loss(grad_fused_x, torch.max(grad_ir_x, grad_vi_x)) F.l1_loss(grad_fused_y, torch.max(grad_ir_y, grad_vi_y))) # 结构相似性损失 l_ssim 1 - 0.5 * (SSIM(data_range1.0)(fused, ir) SSIM(data_range1.0)(fused, vi)) total alpha * l_intensity beta * l_grad gamma * l_ssim return total, l_intensity.item(), l_grad.item(), l_ssim.item()这里有几个调参要点梯度损失的权重beta10.0看起来很大因为梯度图非常稀疏L1 值天然偏小必须给高权重才能压住边缘模糊的倾向。gamma1.0的 SSIM 损失起的是微调作用它保证了融合图在局部窗口内与两个输入的亮度分布一致防止出现块状伪影。如果你的融合结果出现「整张图像偏亮」的问题把alpha从 0.3 降到 0.1 即可。提示如果环境里没有pytorch_msssim可以直接用像素均值差替代 SSIM但效果会略有下降。课程设计建议还是完整安装这个包接口很简单。3.4 训练循环保存 checkpoints 与可视化输出训练循环本身不复杂但有几个细节直接影响课程设计的评分是否保存了每个 epoch 的模型参数、是否在训练过程中直观看到融合效果、是否记录了损失曲线的数据点。下面是一段核心训练代码# train.py import torch from torch.optim import Adam from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter from model import FusionNet from dataset import FusionDataset from loss import fusion_loss device cuda if torch.cuda.is_available() else cpu epochs 80 lr 2e-4 model FusionNet().to(device) optimizer Adam(model.parameters(), lrlr) train_loader DataLoader(FusionDataset(data/ir, data/vi), batch_size4, shuffleTrue, num_workers2) writer SummaryWriter(runs/fusion_exp) for epoch in range(epochs): model.train() epoch_loss 0.0 for step, (ir, vi) in enumerate(train_loader): ir ir.to(device) vi vi.to(device) fused model(ir, vi) total, l_int, l_grad, l_ssim fusion_loss(fused, ir, vi) optimizer.zero_grad() total.backward() optimizer.step() if step % 20 0: print(fEpoch {epoch}, Step {step}, Loss {total.item():.4f}) torch.save(model.state_dict(), fcheckpoints/fusion_epoch_{epoch}.pth)代码里的学习率2e-4是 Adam 优化器下融合任务的安全范围不要调成1e-2这种分类任务的常见值那会导致损失直接发散。每 20 个 step 打印一次损失是为了课程设计报告中可以画出曲线。TensorBoard 的记录代码没有写进循环但我建议你在验证环节加上图像日志让答辩老师直观看到融合结果的演化过程。4. 课程设计验收视角质量指标、推理脚本与防翻车清单课程设计和工业项目最大的区别在于验收标准里「能说清楚」比「效果最好」更重要。下面这部分是答辩和报告中最容易被追问的环节提前准备好能避免大部分失分点。4.1 质量评价脚本在测试集上计算可量化的融合指标融合效果不能只说「看起来不错」。课程设计报告至少要给出四个指标信息熵Entropy、互信息MI、结构相似性SSIM、峰值信噪比PSNR。其中互信息和 SSIM 的计算方式较多下面这份脚本是和最常用论文保持一致的口径import cv2 import numpy as np from skimage.metrics import structural_similarity as ssim def calculate_metrics(fused_path, ir_path, vi_path): fused cv2.imread(fused_path, 0) ir cv2.imread(ir_path, 0) vi cv2.imread(vi_path, 0) h, w fused.shape # 信息熵 hist np.histogram(fused.flatten(), bins256, range[0,255], densityTrue)[0] entropy -np.sum(hist[hist 0] * np.log2(hist[hist 0])) # 结构相似性分别与红外、可见光计算再平均 ssim_ir ssim(fused, ir) ssim_vi ssim(fused, vi) # 互信息简化版 def mi(a, b): hist_2d, _, _ np.histogram2d(a.flatten(), b.flatten(), bins64) pxy hist_2d / hist_2d.sum() px pxy.sum(axis1, keepdimsTrue) py pxy.sum(axis0, keepdimsTrue) mi_val np.sum(pxy * np.log((pxy 1e-10) / (px * py 1e-10))) return mi_val mi_ir mi(fused, ir) mi_vi mi(fused, vi) return entropy, (ssim_ir ssim_vi) / 2, (mi_ir mi_vi) / 2课程设计报告中你需要用这个脚本把所有测试图的指标求出均值和两张输入图本身做对比说明融合图的熵比原图高、SSIM 与两原图的相似度均接近 0.5 以上才能证明融合同时吸收了双方的特性。如果指标出现「SSIM 极高、但视觉很糊」的情况说明网络退化了偷懒直接把可见光图当作输出。4.2 课程设计中最常踩的四个坑红外图和可见光图尺寸不对齐训练时报错信息是维度不一致。解决方式是在数据加载器里统一Resize不要靠外部脚本预先处理否则答辩现场换数据就容易崩。ToTensor之后忘了Sigmoid融合图像素值超出 [0,1] 范围可视化变成灰蒙蒙一片。在网络的最后一层加nn.Sigmoid()是常规做法。训练了 100 个 epoch 但融合结果依旧是模糊的均值图。检查损失函数时优先看梯度损失项的数值是否在下降如果l_grad一直不降说明优化器根本没把梯度信号传回去排查一下是否为两个分支的权重不共享导致。只用 Loss 值判断训练进程是不可靠的必须保存训练图。课程设计交的融合图是最好 epoch 的产物不是最后一个 epoch 的结果。每隔 5 个 epoch 把融合输出与输入拼在一起保存人工挑出最好的一个。4.3 推理脚本单张图像的快速融合验证训练完成后课程设计还需要提供一个「输入两张图输出融合图」的独立脚本这段代码是你最后交差时的门面写得不啰嗦、不报错即可import torch from PIL import Image import torchvision.transforms as T from model import FusionNet model FusionNet() model.load_state_dict(torch.load(best_fusion.pth, map_locationcpu)) model.eval() def infer(ir_path, vi_path, save_path): transform T.Compose([T.Resize((256, 256)), T.ToTensor()]) ir transform(Image.open(ir_path).convert(L)).unsqueeze(0) vi transform(Image.open(vi_path).convert(L)).unsqueeze(0) with torch.no_grad(): fused model(ir, vi).squeeze(0) T.ToPILImage()(fused).save(save_path) if __name__ __main__: infer(test/ir.png, test/vi.png, output/fused.png)这段脚本的核心逻辑有三步统一预处理、关闭梯度推断、还原为图像格式。torch.no_grad()在这里不只是提速而是避免模型在推理时构建计算图导致显存溢出。5. 交付前的最后一步做一个可对比的消融实验表课程设计和毕业论文在验收尺度上有个共同点评委想知道你有没有真正理解网络为什么有效。最直接的证明方式不是画网络结构图而是做一份消融实验在相同数据和训练轮次下比较「完整损失」「去掉梯度损失」「去掉结构相似性损失」三组融合结果的指标差异。实操时只需把损失函数里的fusion_loss中某一项的系数设为 0分别跑 30 个 epoch然后对同一张测试图计算熵、互信息和 SSIM形成下面这样的对比表损失配置训练 Loss 趋势信息熵与红外 SSIM与可见光 SSIM视觉特点强度梯度SSIM平稳下降7.210.610.58纹理清晰目标明显去掉梯度项下降更快6.580.630.43边缘模糊纹理丢失去掉 SSIM 项波动明显7.440.550.49局部出现块状伪影答辩时你可以指着这张表说明梯度损失是融合质量的主控项SSIM 损失负责去除伪影强度损失决定了目标显著性——三个缺一不可。这比单纯展示一张效果图更有说服力。另外一个容易被忽略的细节是模型参数量的记录。在编码器部分加一行统计代码把参数数量写进报告比如「该网络参数量约 xx 万单张 256×256 图像在 CPU 上推理时间 xx 秒」这会让课程设计的工作量评估更直观。评委看重的不只是效果还有「这些代码是你自己写的」的可信度——而一个有充分消融实验支撑的工程天然就带着这种可信度。本文还有配套的精品资源点击获取