简介基于深度学习的多曝光高动态范围成像学术论文PDF面向图像处理与计算机视觉领域的研究人员和学习者针对动态场景下多曝光HDR成像中前景运动造成的鬼影问题提出一种端到端的特征融合深度神经网络。相比传统块匹配融合方法该方法从多尺度特征出发利用特征提取器抽取四层尺度特征通过掩码生成器输出对应掩码来逐级指导特征融合再经后处理子模块优化最终从多张不同曝光的低动态范围图像重建出高质量HDR图像同时有效去除鬼影。资源仅包含1个PDF文件大小为2.67MB内容涵盖研究背景、相关工作、网络结构、算法流程、实验对比和结论结构完整可直接下载阅读或引用。目前已有183人次学习适合作为深度学习、图像融合及HDR成像方向的参考文献也可用于算法调研、论文写作与课题拓展。1. 多曝光HDR动态场景最大的坑鬼影与一次端到端破解基于深度学习的多曝光高动态范围成像本质上要解决一件事把三张不同曝光的LDR照片合成一张细节完整的HDR图并且不在动态场景中留下鬼影。手持相机在傍晚街道连续拍摄三张LDR图欠曝帧保留高光细节过曝帧保留暗部细节理论上融合就能得到一张动态范围更高的结果。但场景中只要有一个行人或车辆移动三张图里同一物体的位置就不一致直接融合会在背景上留下半透明残影。这篇文章介绍的端到端特征融合深度神经网络先用编码器抽取三张LDR的多尺度特征再用掩码生成器为每个尺度给出融合权重最后用残差后处理模块优化融合结果在Kalantari数据集上把PSNR做到41.84dBSSIM 0.9866HDR-VDP-2达到60.43三项指标都超过经典Sen和Hu方法。对做图像融合、视觉算法落地或深度学习应用的人来说很适合作为动态场景HDR重建的基线。2. 特征融合网络拆解四尺度编码、掩码生成与残差细化2.1 特征编码器为什么在特征层做融合能避开像素错位传统patch类方法比如Sen的方法思路是先在多张图像之间做patch匹配建立对应关系再根据对应关系融合像素。曝光差异不大时这种方法可行但多曝光HDR输入的三张LDR图亮度差异非常大同一场景区域在不同曝光下呈现出的像素值完全不同patch匹配经常找到错误对应运动目标附近就会产生鬼影。特征融合网络换了一个思路不追求像素级精确对齐而是把每个曝光图先编码成多尺度特征让网络自己判断哪些位置的特征可信用掩码决定信任哪个分支。对齐问题变成特征筛选问题这是它能在动态场景下稳住结果的重要原因。特征编码器把三张LDR图分别映射到四个尺度。尺度1保持原分辨率用于保留纹理细节之后每个尺度做一次2倍下采样感受野逐步增大通道数从32翻倍到256。高层特征能覆盖更大的空间范围有助于判断大块运动区域和曝光饱和区域的位置低层特征分辨率高负责把细节传到最后输出。三张LDR图共享同一个编码器权重这是多曝光融合任务里的常见做法共享之后三个分支的特征表示比较接近mask做加权时不会因为特征分布差异过大而失效。下表给出一个可复现的编码器参考配置。实际复现时通道数可以随显存调整但四个尺度的下采样比例尽量保持一致否则下一节的掩码和特征图分辨率不好对齐。尺度特征分辨率参考通道数主要作用1H×W32保留高频纹理2H/2×W/264抑制传感器噪声3H/4×W/4128感知局部运动区域4H/8×W/8256判断曝光可信度与全局结构2.2 掩码生成器暗帧与亮帧之间的soft权重分配论文中的mask生成器接收的是暗帧I1和亮帧I3的拼接结果而不是三张图都输入。mask要回答的问题是当前像素位置应该更信任欠曝图的特征还是过曝图的特征。欠曝图亮部细节丰富但整体暗部可能死黑过曝图暗部信息更多但亮部容易饱和只看这两个极端曝光帧网络能用最直接的对比关系学会互补选择。中间曝光帧信息最均衡但它也可能包含运动残影把它排除在mask预测之外可以减少融合时引入错误空间信息的风险。mask在每个尺度各输出一张单通道图经过sigmoid压到0到1之间。数值接近1表示此位置暗帧特征贡献更多接近0表示亮帧特征贡献更多。融合逻辑用下面这段代码就能表达# 第k尺度的融合mask控制暗帧亮帧特征的贡献比例 fused_k mask_k * feat_dark_k (1.0 - mask_k) * feat_bright_kfeat_dark_k来自欠曝图第k级特征feat_bright_k来自过曝图第k级特征两个特征图逐像素加权求和。mask是单通道特征图是多通道相乘时单通道mask会被广播到每个通道。使用soft mask而不是硬二值mask是为了避免在运动边缘出现明显分界权重渐变区域可以平滑过渡这也是最终结果不会有生硬拼接痕迹的原因之一。2.3 后处理模块残差连接恢复HDR高频细节融合得到的特征已经完成曝光互补但直接映射到三通道HDR图会丢失一部分高频细节。后处理模块接在最高尺度融合特征之后核心结构是多个残差模块。每个残差模块可写成shortcut加两层3x3卷积的形式。残差连接在这里意义很直接HDR图像实际上包含输入LDR图里的大部分结构信息网络只需要学习融合特征与最终结果之间的修正量训练更容易收敛局部细节也不容易被深层卷积洗掉。四个尺度特征的融合过程按照由粗到精的顺序传递最低分辨率尺度4先融合然后上采样与尺度3特征拼接再继续往上直到尺度1。低分辨率特征携带全局曝光结构高分辨率特征补充纹理细节每一层融合结果都被下一层复用最终把四层信息汇入后处理模块。这种级联方式避免了直接融合四个尺度特征时通道数爆炸的问题也让每个尺度的mask能作用于对应分辨率的空间位置。3. 训练设定与实验对比Kalantari数据集上的复现要点3.1 数据集结构与预处理网络训练采用Kalantari等人公开的动态场景HDR数据集共74组训练样本和15组测试样本。每组样本包含三张不同曝光的LDR图像和一张作为标签的HDR图LDR图像是普通8位照片HDR标签是线性辐射度图通常以.hdr或.exr格式保存。图像原始尺寸是1500×1000训练时直接整图送进显卡不现实论文采用随机裁剪256×256图像块的方式提高硬件利用效率。数据增强部分使用随机水平翻转和随机旋转。旋转操作如果使用任意角度插值会产生无效边缘像素之后的mask学习和损失计算都会被这些伪纹理干扰所以这里更推荐90度、180度、270度的整数倍旋转。另一个容易忽略的细节是HDR标签的数值范围远大于0到1某些场景高光区域像素值能到几十甚至上百。如果直接在线性域算MSE损失暗部区域的梯度会被高光完全淹没网络训练初期的更新方向基本由最亮的几个像素决定。常见做法是先对标签和网络输出做u-law压缩或tone mapping压缩到接近0到1范围后再算损失。原论文没有展开说明这个细节复现时需要按训练曲线自行选择。数据加载代码的要点如下def load_training_pair(sample, crop_size256): img1 read_ldr(sample[ldr_1]) # 低曝光帧 img2 read_ldr(sample[ldr_2]) # 中间曝光帧 img3 read_ldr(sample[ldr_3]) # 高曝光帧 gt read_hdr(sample[hdr]) # 线性HDR标签 x, y random_crop_coord(img1, crop_size) return (crop(img1, x, y), crop(img2, x, y), crop(img3, x, y), crop(gt, x, y))这里最关键的是三张LDR图和HDR标签必须用同一组裁剪坐标位置错开一个像素都会破坏训练数据的一致性。HDR标签读取后要转成float32并保持线性域LDR图则要归一化到0到1范围。3.2 模型参数配置与优化策略论文给出的训练配置是Xavier初始化、Adam优化器、初始学习率1e-4、每100轮衰减一半、共训练300轮损失函数用L2。训练细节如下表超参数取值补充说明优化器Adambetas默认(0.9, 0.999)初始学习率1e-4每100轮乘以0.5训练轮数300在RTX 2080Ti上约数小时损失函数L2可结合u-law压缩使用参数初始化Xavier均匀分布训练分辨率256×256随机裁剪批量大小8参考视显存调整Xavier初始化让每一层输出的方差在训练开始时保持稳定对卷积网络来说可以防止前向传播过程中信号逐层消失。学习率100轮减半属于慢衰减前200轮模型还在收敛融合结构过早缩小步长会让掩码生成器停在局部极小值。L2损失对大误差区域更敏感在HDR任务上可以让网络优先修正过曝和欠曝区域这是选择它的原因之一。3.3 客观指标对比论文在测试集上对比了Sen方法、Hu方法以及该特征融合网络的PSNR、SSIM和HDR-VDP-2三个指标都是越大越好。方法PSNRSSIMHDR-VDP-2Sen et al.40.940.973655.2142Hu et al.32.340.971255.0173论文方法41.840.986660.4260这里值得注意Hu方法PSNR只有32.34dB说明它在动态场景上重建误差很大Sen方法PSNR已经到40.94但HDR-VDP-2只有55.21和论文方法相差5.2说明在HDR内容感知上仍有明显差距。主观对比图里Sen和Hu的结果都在背景墙壁处出现了由前景手臂运动导致的鬼影而论文方法在相同位置的融合结果接近真实标签。4. PyTorch实现多曝光HDR特征融合网络的关键代码4.1 特征编码器与掩码生成器按第2章的配置实现特征编码器。输入一张LDR图输出四个尺度特征图每两个尺度之间通过stride2的卷积过渡import torch import torch.nn as nn import torch.nn.functional as F class FeatureEncoder(nn.Module): def __init__(self): super().__init__() self.level1 self._conv_block(3, 32, stride1) self.level2 self._conv_block(32, 64, stride2) self.level3 self._conv_block(64, 128, stride2) self.level4 self._conv_block(128, 256, stride2) def _conv_block(self, cin, cout, stride): return nn.Sequential( nn.Conv2d(cin, cout, 3, stride, 1), # stride2时分辨率减半 nn.ReLU(inplaceTrue), nn.Conv2d(cout, cout, 3, 1, 1), nn.ReLU(inplaceTrue)) def forward(self, x): f1 self.level1(x) f2 self.level2(f1) f3 self.level3(f2) f4 self.level4(f3) return [f1, f2, f3, f4]第一个卷积的stride决定当前尺度相对输入的分辨率变化第二个卷积保持分辨率不变只做特征重提取。原始论文对三张LDR图使用同一个编码器运行时间与显存占用都是单张图的三倍如果显存受限可以改为顺序计算三张图的特征并暂存减少并发张量数量。掩码生成器接收暗帧和亮帧的拼接图输入通道6输出四尺度单通道maskclass MaskGenerator(nn.Module): def __init__(self): super().__init__() self.b1 self._conv_block(6, 32) self.b2 self._conv_block(32, 64) self.b3 self._conv_block(64, 128) self.b4 self._conv_block(128, 256) self.head1 nn.Conv2d(32, 1, 3, 1, 1) self.head2 nn.Conv2d(64, 1, 3, 1, 1) self.head3 nn.Conv2d(128, 1, 3, 1, 1) self.head4 nn.Conv2d(256, 1, 3, 1, 1) def _conv_block(self, cin, cout): return nn.Sequential( nn.Conv2d(cin, cout, 3, 1, 1), nn.ReLU(inplaceTrue)) def forward(self, dark, bright): x torch.cat([dark, bright], dim1) f1 self.b1(x) f2 self.b2(F.max_pool2d(f1, 2)) f3 self.b3(F.max_pool2d(f2, 2)) f4 self.b4(F.max_pool2d(f3, 2)) return [torch.sigmoid(self.head1(f1)), torch.sigmoid(self.head2(f2)), torch.sigmoid(self.head3(f3)), torch.sigmoid(self.head4(f4))]max_pool在这里做空间降采样确保mask与Encoder对应尺度的分辨率一致。如果Encoder的stride卷积和这里的max_pool得到的分辨率不一致后续按位乘会直接报错复现时可以先打印四个mask的shape与四个特征图的shape做校验。4.2 多尺度融合模块与后处理融合模块代码把mask加权、中间帧补充和上一尺度上采样三者合在一起class FusionModule(nn.Module): def __init__(self, dim_in, dim_out): super().__init__() self.conv nn.Sequential( nn.Conv2d(dim_in, dim_out, 3, 1, 1), nn.ReLU(inplaceTrue)) def forward(self, f_dark, f_mid, f_bright, mask, f_upNone): fused mask * f_dark (1.0 - mask) * f_bright if f_up is not None: f_up F.interpolate(f_up, scale_factor2, modebilinear, align_cornersFalse) fused torch.cat([fused, f_mid, f_up], dim1) else: fused torch.cat([fused, f_mid], dim1) return self.conv(fused)f_dark、f_mid、f_bright是三个分支同一尺度的特征图mask与f_dark、f_bright逐像素加权。中间帧特征不参与mask加权而是在拼接阶段直接送入这样可以保留正常曝光的颜色信息。f_up来自上一尺度的融合结果用双线性插值放大后拼进来实现论文里的由粗到精融合。第一行就是论文公式的加权融合核心mask接近1时保留暗帧特征接近0时保留亮帧特征。后处理模块用残差块堆叠每个残差块包含两层卷积和shortcut连接class ResidualBlock(nn.Module): def __init__(self, dim): super().__init__() self.conv1 nn.Conv2d(dim, dim, 3, 1, 1) self.conv2 nn.Conv2d(dim, dim, 3, 1, 1) self.relu nn.ReLU(inplaceTrue) def forward(self, x): return x self.conv2(self.relu(self.conv1(x)))shortcut将输入直接加到第二个卷积的输出上网络只需要学习残差。实际操作中可以堆叠3到6个残差块数量增加会轻微提升细节恢复能力但显存占用和训练时间也随之上升。把上述模块组装成完整网络class MultiExposureHDRNet(nn.Module): def __init__(self): super().__init__() self.encoder FeatureEncoder() self.mask_gen MaskGenerator() self.fuse nn.ModuleList([ FusionModule(64, 32), FusionModule(160, 64), FusionModule(320, 128), FusionModule(640, 256), ]) self.head nn.Sequential( ResidualBlock(256), ResidualBlock(256), ResidualBlock(256), nn.Conv2d(256, 3, 1)) def forward(self, im1, im2, im3): f1s self.encoder(im1) f2s self.encoder(im2) f3s self.encoder(im3) masks self.mask_gen(im1, im3) f_up None for k in range(4): f_up self.fuse[k](f1s[k], f2s[k], f3s[k], masks[k], f_up) return self.head(f_up)四个FusionModule的输入通道分别是64、160、320、640对应每尺度拼接后的实际通道数输出通道与该尺度特征通道一致确保下一级上采样后能继续拼接。最后的head用三个残差块和一个1x1卷积把256通道压缩成三通道线性HDR输出。4.3 训练循环与损失配置完整网络的训练循环如下model MultiExposureHDRNet().cuda() optimizer torch.optim.Adam(model.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size100, gamma0.5) criterion nn.MSELoss() for epoch in range(300): for im1, im2, im3, gt in train_loader: im1 im1.cuda(); im2 im2.cuda() im3 im3.cuda(); gt gt.cuda() pred model(im1, im2, im3) loss criterion(pred, gt) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这个循环的关键点有三个第一gt是线性HDR图直接MSELoss可能收敛很慢建议把pred和gt同时做u-law压缩后再算损失第二scheduler.step()放在每个epoch结束位置保证100轮衰减一次第三Adam的默认参数在这个任务上不需要额外调整。如果损失曲线在200轮后震荡可以把学习率衰减改为每50轮一次通常能更快稳定。5. 上手调试与进阶鬼影验证和HDR-VDP-2使用心得5.1 动态区域单独算PSNR整张图的PSNR提升可能来自静态背景前期调试时建议用光流或帧差法估计运动区域再圈出一个二值掩码只统计运动区域上的PSNR和SSIM。这个数字对鬼影是否真正消除更敏感。如果运动区域PSNR提升明显、背景PSNR变化很小说明mask确实在起作用。5.2 分尺度可视化融合特征把四个尺度的mask分别可视化能很快定位问题。如果低尺度mask在运动区域边缘出现碎片化高尺度mask却很平滑说明mask生成器对运动边界的感受野不够可以增加一层下采样卷积或拉大高层卷积核尺寸。反过来如果高尺度mask把大面积背景也判成运动区域则需要降低最高层特征通道数或减少编码器下采样次数。5.3 增加极端曝光样本的小技巧论文结论中提到模型在极度过曝和欠曝场景下仍有退化实际复现时可以通过合成数据补充这一短板。对训练集中的HDR标签乘上随机系数模拟不同曝光级别再用相机响应函数转回LDR域相当于用手头数据集生成更多极端曝光组合。这个技巧不需要额外采集数据对提升mask在饱和区域的稳健性帮助明显也是从这篇基线往实用系统走最直接的一步。本文还有配套的精品资源点击获取