多|模|态|信|息|融|合MobileFusion通过结构重参数化让模型在训练时保留多分支表达能力、推理时折叠为单路径卷积在约4K参数下实现实时红外与可见光图像融合。1 论文信息MobileFusion: Mobile-Friendly Infrared and Visible Image Fusion via Structural Re-parameterization | 基于结构重参数化的移动端友好型红外与可见光图像融合作者Yufa Duan, Jialing Huang, Yingying Wang, Weimin Cai, Xinghao Ding, Xiaotong Tu通讯作者单位厦门大学多媒体可信感知与高效计算教育部重点实验室代码https://github.com/sucessfullys/MobileFusion下载https://icml.cc/virtual/2026/poster/645022 摘要现有的红外和可见光融合的方法大多采用的是Transformer、扩散模型等复杂的网络结构来提高融合的质量但是它们的计算量以及对显存的需求都比较大难以在移动设备或者边缘端上进行部署。已经存在的超快方法也会受到固定的映射能力的影响。因此作者提出了一种叫做MobileFusion的方法。模型在训练过程中用到多个分支的卷积来加强不同模态之间的相互作用在推理的时候把所有的分支合并成一个单一的路径卷积以减少内存访问以及推断延迟。结合轻量级注意机制与前馈网络之后MobileFusion不仅保证了融合的质量而且满足了移动设备上实时运行的需求。3 创新点01为移动设备设计的一个轻量级融合框架整个模型大约有4000多个参数使用了卷积等对硬件友好的运算符来降低计算量和存储需求主要解决了融合模型计算量大、难以部署的问题。02可以重参数化的多分支卷积模块Re-parameterizable Multi-branch Convolution (RepMBConv) 在训练的时候用不同大小、不同方向的卷积分支来提取多种尺度的信息在推理的时候把它们合并成一个普通的卷积。03上下文增强轻量级轻量级上下文感知注意(LCAA)把双流通道注意、双向空间注意结合起来并且对红外显著性以及可见光纹理结构进行考虑。04低功耗非线性放大器Re-parameterized Feed-Forward Network (RepFFN) 使用了 1×1 的RepMBConv和 PReLU 来增强特征表示的能力在推理过程中也维持着一个紧凑的结构。4 方法MobileFusion输入一个三通道的可见光图象以及一个单通道的红外图象。两种模态首先在通道维度上进行拼接在此之后使用了5×5RepMBConv来提取浅层融合特征并且利用两个轻量级模块来进行更深一层次上的特征交互在最后阶段用到了3×3RepMBConv来重新构建出融合后的图像。RepMBConv在训练的时候有各种各样的卷积分支比如(k×k)(1×k)(k×1)还有(1×1) 的卷积。各个分支的输出先拼接在一起然后用一个 1×1 的卷积来压缩并投影。推理过程中卷积、BatchNorm、投影层以及残差分支会解析合并成一个等效的卷积。LCAA先利用平均池化与最大池化得到通道权重然后使用横向和纵向深度卷积来建模局部结构。RepFFN还可以加强非线性的表示能力。训练损失包括SSIM损失、强度损失、梯度损失以及颜色一致性损失等部分。可重新参数化的卷积架构比较5 实验实验设置在MSRS、FMB和LLVIP上做融合实验并把结果跟U2Fusion、MetaFusion、CDDFuse、Diff-IF、Text-IF、DCEvo、LUT-Fuse等九个方法的结果对比一下用EN、SCD、CC、SSIM和MI来作为评价标准。实验结果MobileFusion在三个数据集上的大部分指标都取得了最好的或者第二好的成绩。使用RTX 4090时模型参数数量为0.004M、FLOPs为1.77G、推理时间为2.10 ms在Jetson Orin NX上进行480P图像推理的时间为12.88毫秒满足实时性要求。在LLVIP目标检测实验里MobileFusion得到精确度为 0.9585和mAP0.50.9382在FMB语义分割实验里mIoU为58.22排名第二。消融实验去掉LCAA或者RepFFN之后各种融合指标都变差了。把RepMBConv换成普通的卷积或者传统的重参数化结构之后跨模态的信息交互也会变得很弱。实验证明整个(k×k1×kk×1)分支组合的效果最好。6 总结MobileFusion的主要思想为在训练的时候使用多分支来提高表达能力在推理的时候把多分支合并为单一路径网络。这样做的结果是在参数量、计算量以及推理速度都比较小的时候模型依然能有很好的融合效果。论文还用Jetson Orin NX做实验来证明移动端部署的能力在目标检测、语义分割以及医学图像融合上也表现出了更好的泛化性。训练的时候是“多路学习”推理的时候就是“一路狂奔”。END『 往期推荐 』
多|模|态|信|息|融|合MobileFusion通过结构重参数化让模型在训练时保留多分支表达能力、推理时折叠为单路径卷积在约4K参数下实现实时红外与可见光图像融合。1 论文信息MobileFusion: Mobile-Friendly Infrared and Visible Image Fusion via Structural Re-parameterization | 基于结构重参数化的移动端友好型红外与可见光图像融合作者Yufa Duan, Jialing Huang, Yingying Wang, Weimin Cai, Xinghao Ding, Xiaotong Tu通讯作者单位厦门大学多媒体可信感知与高效计算教育部重点实验室代码https://github.com/sucessfullys/MobileFusion下载https://icml.cc/virtual/2026/poster/645022 摘要现有的红外和可见光融合的方法大多采用的是Transformer、扩散模型等复杂的网络结构来提高融合的质量但是它们的计算量以及对显存的需求都比较大难以在移动设备或者边缘端上进行部署。已经存在的超快方法也会受到固定的映射能力的影响。因此作者提出了一种叫做MobileFusion的方法。模型在训练过程中用到多个分支的卷积来加强不同模态之间的相互作用在推理的时候把所有的分支合并成一个单一的路径卷积以减少内存访问以及推断延迟。结合轻量级注意机制与前馈网络之后MobileFusion不仅保证了融合的质量而且满足了移动设备上实时运行的需求。3 创新点01为移动设备设计的一个轻量级融合框架整个模型大约有4000多个参数使用了卷积等对硬件友好的运算符来降低计算量和存储需求主要解决了融合模型计算量大、难以部署的问题。02可以重参数化的多分支卷积模块Re-parameterizable Multi-branch Convolution (RepMBConv) 在训练的时候用不同大小、不同方向的卷积分支来提取多种尺度的信息在推理的时候把它们合并成一个普通的卷积。03上下文增强轻量级轻量级上下文感知注意(LCAA)把双流通道注意、双向空间注意结合起来并且对红外显著性以及可见光纹理结构进行考虑。04低功耗非线性放大器Re-parameterized Feed-Forward Network (RepFFN) 使用了 1×1 的RepMBConv和 PReLU 来增强特征表示的能力在推理过程中也维持着一个紧凑的结构。4 方法MobileFusion输入一个三通道的可见光图象以及一个单通道的红外图象。两种模态首先在通道维度上进行拼接在此之后使用了5×5RepMBConv来提取浅层融合特征并且利用两个轻量级模块来进行更深一层次上的特征交互在最后阶段用到了3×3RepMBConv来重新构建出融合后的图像。RepMBConv在训练的时候有各种各样的卷积分支比如(k×k)(1×k)(k×1)还有(1×1) 的卷积。各个分支的输出先拼接在一起然后用一个 1×1 的卷积来压缩并投影。推理过程中卷积、BatchNorm、投影层以及残差分支会解析合并成一个等效的卷积。LCAA先利用平均池化与最大池化得到通道权重然后使用横向和纵向深度卷积来建模局部结构。RepFFN还可以加强非线性的表示能力。训练损失包括SSIM损失、强度损失、梯度损失以及颜色一致性损失等部分。可重新参数化的卷积架构比较5 实验实验设置在MSRS、FMB和LLVIP上做融合实验并把结果跟U2Fusion、MetaFusion、CDDFuse、Diff-IF、Text-IF、DCEvo、LUT-Fuse等九个方法的结果对比一下用EN、SCD、CC、SSIM和MI来作为评价标准。实验结果MobileFusion在三个数据集上的大部分指标都取得了最好的或者第二好的成绩。使用RTX 4090时模型参数数量为0.004M、FLOPs为1.77G、推理时间为2.10 ms在Jetson Orin NX上进行480P图像推理的时间为12.88毫秒满足实时性要求。在LLVIP目标检测实验里MobileFusion得到精确度为 0.9585和mAP0.50.9382在FMB语义分割实验里mIoU为58.22排名第二。消融实验去掉LCAA或者RepFFN之后各种融合指标都变差了。把RepMBConv换成普通的卷积或者传统的重参数化结构之后跨模态的信息交互也会变得很弱。实验证明整个(k×k1×kk×1)分支组合的效果最好。6 总结MobileFusion的主要思想为在训练的时候使用多分支来提高表达能力在推理的时候把多分支合并为单一路径网络。这样做的结果是在参数量、计算量以及推理速度都比较小的时候模型依然能有很好的融合效果。论文还用Jetson Orin NX做实验来证明移动端部署的能力在目标检测、语义分割以及医学图像融合上也表现出了更好的泛化性。训练的时候是“多路学习”推理的时候就是“一路狂奔”。END『 往期推荐 』
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
