type
status
date
slug
summary
tags
category
icon
password
Last edited time
Mar 16, 2024 07:01 AM
😀
从图像异常检测到多模态(以EasyNet举例) 视觉融合 LLM赋能科研

📝 主旨内容

从图像异常检测到多模态(以EasyNet举例)

notion image

对比模型结构

notion image
notion image

对比损失函数

对比异常生成策略

notion image
notion image

与DRÆM区别

正如EasyNet中所述,我们从DRAEM的重建和异常图像生成方法中学到了一些东西,但是EasyNet和DRAEM之间的架构有很大不同。
首先,EasyNet的重建网络在重建之前和之后利用了多层和多尺度的特征信息,这也在消融实验中得到了突出的体现,而DREAM的对应网络只能通过重建前后的图像进行分割。
其次,我们的实验发现,使用2层MLP就足以有效地分割异常区域,而不需要像DREAM一样使用大型U-Net。
最后,EasyNet更注重多模态特征的融合与分割,而DREAM只关注RGB特征。
 

视觉融合

LLM赋能科研

🤗 总结归纳

📎 参考文章

2023年12月24日周日大组会2023年12月10日周日大组会
Loading...