type
status
date
slug
summary
tags
category
icon
password
Last edited time
Jul 3, 2024 12:28 AM
😀
通过跨模态差异进行异常检测，模型小，速度快，精度高
notion image
Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping
The paper explores the industrial multimodal Anomaly Detection (AD) task, which exploits point clouds and RGB images to localize anomalies. We introduce a novel light and fast framework that...
Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping
https://arxiv.org/abs/2312.04521
Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping
crossmodal-feature-mapping
CVLAB-Unibo • Updated Sep 10, 2024

📝 主旨内容

架构

💡
仅有两个特征映射器需要学习(两层MLP)，根据跨模态后与原模态的相似度进行异常检测(二者进行点乘)
notion image

评价指标

💡
所有的先前工作在计算AUPRO时都使用0.3作为假阳性率（FPR）积分阈值。我们认为这个值对于实际工业应用来说可能太宽松了，允许太多的假阳性。
notion image

预处理相关

💡
点云预处理缺失存在缺失，造成与图像数据不一致，但恰好该方法就是利用模态间差异进行异常检测
💡
进行异常检测时，直接将背景移除，因为异常不可能出现在背景上
notion image
notion image

改进

3D to 2D的相似度低

💡
一开始因为作者的笔误导致两个损失算反了(因为是同等考虑的，所以即便修改正确也对结果没有影响)，和最终可视化结果相违背
notion image
notion image
notion image
notion image
notion image

KAN替换MLP

[1152, 576, 288, 288, 576, 768]
[1152, 576, 288, 288, 576, 768]
[1152, 576, 288, 288, 576, 768]
[1152, 576, 288, 288, 576, 768]
[768, 960, 1152]
[768, 960, 1152]
[1152, 960, 768]
[1152, 960, 768]
notion image
 
notion image
 
 
notion image
notion image
notion image
notion image
notion image

聚合差异效果

💡
注意力？自适应？
notion image
notion image
notion image
 
 
notion image

正常样本误杀

notion image
notion image
notion image
notion image

实验

  1. epochs=50
  1. epochs=250
  1. epochs=500
  1. kan网络
  1. ours预处理(epochs=250)
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ
ㅤ

🤗 总结归纳

 

📎 参考文章

 
相关文章
2024年异常检测顶会汇总
多模态工业异常检测Benchmark
少样本+多视角 less is more
异常检测常用评价指标
(A榜)第四届计图人工智能挑战赛——少样本视觉分类问题
DINO:Emerging Properties in Self-Supervised Vision Transformers(ICCV2021)
近期大语言模型动向LogiCode——逻辑异常检测新范式
Loading...