问题来源

Mvtec3D数据集

Downloads: MVTec Software

We provide a download link for the whole dataset, as well as links for each object category. For each object, the data consists of four folders:

https://www.mvtec.com/company/research/datasets/mvtec-3d-ad/downloads

 

 

📝 主旨内容

历史

存在的问题

1. 预处理和训练分离，无法满足工业制造的需求(端到端)

2. 现有预处理方法处理时间长(几个小时)

3. 现有预处理方法占用CPU高

4. 现有预处理方法丢失部分点云细节(部分平面)

Back to the Feature: Classical 3D Features are (Almost) All You...

Despite significant advances in image anomaly detection and segmentation, few methods use 3D information. We utilize a recently introduced 3D anomaly detection dataset to evaluate whether or not...

https://arxiv.org/abs/2203.05550

 

现状(记录平均处理时间，CPU占用)

方法对比

In Gate Open, we discover that depth information may work as the noise and degrade the total performance if we select both RGB features and depth features during inference, so we design an attentionbased information entropy fusion module to select the feature for fusion, which can enhance the performance of all classes in MVTec 3D-AD and Eyescandies.(在Gate Open中，我们发现，如果我们在推理过程中同时选择RGB特征和深度特征，深度信息可能会起到噪音的作用，并降低总的性能，因此我们设计了一个基于注意力的信息门槛融合模块来选择融合的特征，这可以提高MVTec 3D-AD和Eyescandies中所有类别的性能。) —— EasyNet

 

创新点

1. 速度提升约176倍

2. CPU功耗下降XX倍，能在低性能CPU上正常运行

3. 异常检测精度AUROC提升XX……

4. 提出一个统一的端到端多模态异常检测框架

实验(探索改进方案)

一些结果(在速度远超的前提下，保留了更多信息)

探索阈值不同的情况下对结果的影响

3D-ADS(在bagel类上的结果，不弱于原处理方法，部分指标甚至反超)

🤗 总结归纳

需要的文件

• 阿里云盘(适合Autodl可以自己存一份很方便加载到autodl的实例中，但不能分享压缩包所以链接内没有显示数据集)
阿里云盘分享

https://www.alipan.com/s/1dG2kHQCLLz

• 123网盘(后兴起的网盘，主打大容量2T，不限速 可提取直链)
Point-Cloud-Preprocessing官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘
123云盘为您提供Point-Cloud-Preprocessing最新版正式版官方版绿色版下载,Point-Cloud-Preprocessing安卓版手机版apk免费下载安装到手机,支持电脑端一键快捷安装

https://www.123pan.com/s/wuRRVv-VqP43.html

• 南航云盘(学生账号容量10G，老师账号容量500G，走学校内网速度快 可提取直链)
查看分享 - 南航云盘

https://pan.nuaa.edu.cn/share/aa3b2ac949ac37a98ddfecc573

任务

1. 找到更多用到了原数据处理方法的论文(开源，十个方法左右)

2. 在同一硬件环境(多组不同硬件)下比较现有方法和我们方法的预处理时间和CPU,内存占用

3. 预处理后得到的点云数据可视化

4. 经预处理数据训练后的异常检测结果可视化

5. 训练结果指标表格(不预处理，原方法预处理(原论文数值+复现数值)，Ours)

6. 探索不同阈值threshold_value下对所有结果的影响，是否可以自适应，还是需要每个类别单独设置阈值

7. 测试“强行”端到端(预处理+推理)的推理速度(FPS)——在TestDataset的__getitem__方法内增加预处理逻辑

8. 对背景不是纯黑色的Eyescandies数据集表现如何(feature work)

论文参考

MixGen: A New Multi-Modal Data Augmentation | Ziuch の Blog

李沐团队 视觉语言预训练的新型数据增强方式

https://ziuch.com/article/MixGen

Retentive Network: A Successor to Transformer for Large Language Models

In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance....

https://arxiv.org/abs/2307.08621

Leave No Context Behind: Efficient Infinite Context Transformers...

This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed...

https://arxiv.org/abs/2404.07143

专利参考

📎 参考文章