type
status
date
slug
summary
tags
category
icon
password
Last edited time
Jul 3, 2024 12:28 AM
通过跨模态差异进行异常检测，模型小，速度快，精度高
crossmodal-feature-mapping
CVLAB-Unibo • Updated Sep 10, 2024
📝 主旨内容
架构
仅有两个特征映射器需要学习(两层MLP)，根据跨模态后与原模态的相似度进行异常检测(二者进行点乘)
评价指标
所有的先前工作在计算AUPRO时都使用0.3作为假阳性率（FPR）积分阈值。我们认为这个值对于实际工业应用来说可能太宽松了，允许太多的假阳性。
预处理相关
点云预处理缺失存在缺失，造成与图像数据不一致，但恰好该方法就是利用模态间差异进行异常检测
进行异常检测时，直接将背景移除，因为异常不可能出现在背景上
改进
3D to 2D的相似度低
一开始因为作者的笔误导致两个损失算反了(因为是同等考虑的，所以即便修改正确也对结果没有影响)，和最终可视化结果相违背
KAN替换MLP
![[1152, 576, 288, 288, 576, 768]](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F431fb203-f4fb-456a-920a-d00845a12597%2F90f51ecd-061c-470a-ac98-db69d6849506%2FUntitled.png?table=block&id=7a00b000-77cb-4474-9f26-424b384d804b&t=7a00b000-77cb-4474-9f26-424b384d804b&width=1645&cache=v2)
![[1152, 576, 288, 288, 576, 768]](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F431fb203-f4fb-456a-920a-d00845a12597%2Fcd4a9def-ebc8-4874-b7dd-9a7d9805305c%2FUntitled.png?table=block&id=8a2050e5-1d95-4dfd-910e-bd21191a37d2&t=8a2050e5-1d95-4dfd-910e-bd21191a37d2&width=1645&cache=v2)
![[768, 960, 1152]](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F431fb203-f4fb-456a-920a-d00845a12597%2F9f842607-1422-4e58-83e3-72145a3843d2%2FUntitled.png?table=block&id=9e7cb2dc-a2a8-49b9-bf7b-d34389bccc41&t=9e7cb2dc-a2a8-49b9-bf7b-d34389bccc41&width=1156&cache=v2)
![[1152, 960, 768]](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F431fb203-f4fb-456a-920a-d00845a12597%2F74b3c26c-ebd5-42fc-a078-11c532c1abac%2FUntitled.png?table=block&id=d8fe70f9-3eb6-455f-976d-b53d321ec10f&t=d8fe70f9-3eb6-455f-976d-b53d321ec10f&width=1161&cache=v2)
聚合差异效果
注意力？自适应？
正常样本误杀
实验
- epochs=50
- epochs=250
- epochs=500
- kan网络
- ours预处理(epochs=250)
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
🤗 总结归纳
📎 参考文章
- 作者:ziuch
- 链接:https://ziuch.com/article/Crossmodal-Feature-Mapping
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章
