type
status
date
slug
summary
tags
category
icon
password
Last edited time
Mar 16, 2024 07:01 AM
第一个使用深度学习模型对红外与可见光图像进行融合的方法
📝 主旨内容
结构
训练
首先单独训练编码器-解码器结构用于重构图像，然后再添加中间的融合层，通过自适应融合策略来融合特征图像。
这种训练方式的好处是可以设计各种融合策略以适应不同的融合模型。
像素损失和结构相似度SSIM的加权平均
本阶段主要是训练网络的特征提取能力和重建能力，但是红外-可见光图像数据集样本不多，这里用的是灰度COCO数据集进行训练，也就是直接用可将光图像来训练编码器-解码器网络了。一共选取8万张图像并重采样为256×256的尺寸。
融合
相加
这种策略是直接将红外和可将光图像得到每个通道的特征图上每个对应像素点的值相加
l1-norm
🤗 总结归纳
DenseFuse一般认为是第一个使用深度学习模型对红外与可见光图像进行融合的方法，也是一种有监督学习模型。该模型在融合部分和上一段介绍的模型相同，不同之处是图像分解与重建使用的是预训练过的自编码器，可以说DenseFuse不再使用传统图像融合的图像分解方法，取而代之的是利用了卷积层最擅长的特征提取能力，一个优势是提取到的特征相对比传统方法，对不同场景图像的适应性要好。
DenseNet和ResNet
DenseNet和ResNet是两种在计算机视觉领域广泛使用的深度学习架构，它们在处理图像识别和分类任务时有着显著的性能。下面是它们的主要比较点：
- 架构设计:
- ResNet（残差网络）：ResNet的核心是残差学习。为了解决深层网络中的梯度消失和爆炸问题，ResNet引入了残差块，通过跳跃连接（或快捷连接）将输入直接添加到后面层的输出上。
- DenseNet（密集连接网络）：DenseNet的特点是每一层都与前面的所有层相连接。这种设计增加了网络层间的信息流，每一层都接收到前面所有层的特征图作为输入。
- 参数和计算效率:
- ResNet：由于残差连接，ResNet可以训练非常深的网络，同时保持较低的计算复杂度和参数数量。
- DenseNet：尽管DenseNet提供了更好的特征传递，但由于其密集的连接方式，可能会导致参数数量增加，特别是在网络非常深时。
- 性能:
- 在多个标准数据集上，ResNet和DenseNet都显示出了卓越的性能。DenseNet通常能够在较少的参数下达到与ResNet相似的准确率，但这可能伴随着更高的内存消耗。
- 内存消耗:
- 由于DenseNet的每一层都接收前面所有层的特征图，这可能导致内存消耗较大，特别是在深层网络中。相比之下，ResNet的内存消耗通常较低。
- 应用场景:
- ResNet：由于其相对较低的计算需求和较好的泛化能力，ResNet在许多实际应用中非常受欢迎，尤其是在资源受限的情况下。
- DenseNet：DenseNet更适用于那些对精度要求极高且计算资源充足的场合。
总的来说，选择ResNet还是DenseNet取决于具体的应用需求、资源限制和性能目标。DenseNet提供了改进的特征传递和重用，而ResNet则在处理更深层网络时显示出更高的效率。
ResNet（残差网络）和DenseNet（密集连接网络）是在不同时间发布的：
- ResNet：ResNet首次在2015年的论文《Deep Residual Learning for Image Recognition》中被介绍。这篇论文由Kaiming He、Xiangyu Zhang、Shaoqing Ren和Jian Sun撰写，并在2015年的ImageNet大规模视觉识别挑战赛（ILSVRC）中取得了显著的成功。
- DenseNet：DenseNet则稍晚一些，首次出现在2017年的论文《Densely Connected Convolutional Networks》中。这篇论文的作者是Gao Huang、Zhuang Liu、Laurens van der Maaten和Kilian Q. Weinberger。DenseNet在提出后，因其创新的密集连接方式而受到广泛关注。
ResNet的提出标志着深度学习在处理更深层网络时的一个重要进步，而DenseNet则在此基础上进一步增强了网络内部的信息流动和特征重用。这两种架构都对后续的深度学习研究和应用产生了深远的影响。
📎 参考文章
- 作者:ziuch
- 链接:https://ziuch.com/article/DenseFuse
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章