多模态异常检测数据集

type

status

date

slug

summary

📝 主旨内容

MVTec 3D-AD

💡

无监督异常检测和定位任务的首个全面的3D数据集

The MVTec 3D-AD Dataset for Unsupervised 3D Anomaly Detection and...

We introduce the first comprehensive 3D dataset for the task of unsupervised anomaly detection and localization. It is inspired by real-world visual inspection scenarios in which a model has to...

https://arxiv.org/abs/2112.09045

THE MVTEC 3D ANOMALY DETECTION DATASET - MVTEC 3D-AD

Find here the MVTec 3D Anomaly Detection Dataset (MVTec 3D-AD). Acomprehensive 3D dataset for the task of unsupervised anomaly detection and localization.

https://www.mvtec.com/company/research/datasets/mvtec-3d-ad

这个数据集受到现实世界的视觉检查场景的启发，在这些场景中，模型必须检测制造品上各种类型的缺陷，即使它只是在无异常数据上进行训练的。有些缺陷会在对象的几何结构中表现为异常，这会在数据的3D表示中引起显著的偏差。我们使用了高分辨率的工业3D传感器来获取10个不同物体类别的深度扫描。对于所有物体类别，我们分别提供了一个仅包含无异常样本扫描的训练集和验证集。相应的测试集包含显示各种缺陷，如划痕、凹痕、孔洞、污染或变形的样本。

因为在实践中可能发生的所有可能缺陷的性质通常是未知的。此外，训练中的有缺陷样本往往难以获取，并且精确标记缺陷是一项费时的任务。

💡

MVTec 3D-AD数据集由高分辨率工业3D传感器获取的4147个扫描组成。对于10个物体类别，提供了一组用于模型训练和验证的无异常扫描。测试集包含既有无异常扫描，也包含包含各种异常类型的物体样本，例如划痕、凹陷或污染。

我们数据集中的五个物体类别从样本到样本之间表现出明显的自然变化。这些物体类别分别是“面包圈”、“胡萝卜”、“饼干”、“桃子”和“土豆”。另外三个物体，“泡沫”、“绳子”和“轮胎”，具有标准外观但可以容易地变形。剩下的两个物体，“电缆密封件”和“销钉”，是刚性的。原则上，对最后两者的检查可以通过将物体的几何形状与CAD模型进行比较来实现。但是，在实际应用中，不一定总是希望或实际创建CAD模型，因此无监督方法应该能够检测各种物体上的异常。每个数据集类别的示例点云如Figure 2所示。该图还显示了一些异常以及相应的真实标注。"面包圈"和"饼干"的图像显示了物体上的裂纹。"电缆密封件"和"销钉"的表面显示出几何变形。"胡萝卜"上有一个孔，"桃子"和"绳子"上有一些污染物。"泡沫"、"土豆"和"轮胎"的部分被切断。这些是我们数据集中存在的41种异常类型的典型示例。有关数据集的更多统计信息列在Table 1中。

目录结构及展示

此外，我们的设置还支持并简化了数据增强。所有物体都是在深色背景上录制的，预处理留出了足够的边距，以允许应用各种数据增强技术，如裁剪、平移或旋转。这使我们的数据集可用于数据需求量大的深度学习方法的训练。

💡

白色像素标记了传感器由于遮挡、反射或传感器不准确性等原因未返回任何3D信息的区域。

我们为测试集中的每个异常样本提供了精确的基准注释。异常在3D点云中进行了标注。由于3D点与其在(x, y,z)图像中的像素位置之间存在一一映射，我们将注释提供为二维区域。这个过程使我们能够额外标记无效的传感器像素，从而注释通过点的缺失表现出来的异常。例如，异常可能导致3D重建失败，因此在3D图像中会产生无效像素。此外，如果异常在RGB图像中可见，并且其相应的彩色像素尚未包含在地面实况标签中，我们将这些像素追加到注释中。

异常大小统计

点云数据预处理

💡

识别和保留最大的点云集群，移除孤立的或较小的集群，这有助于去除噪声和异常数据

使用数据集的论文

3D-ADS

M3DM(CVPR2023)

Shape-guided(ICML2023)

Easy-Net(MM2023)

Eyecandies(ACCV2022)

💡

提供在多种光照下同一角度的RGB图像，深度图，法线贴图

💡

异常为程序注入并自动生成逐像素注释，克服人为偏见和可能的不一致。

包括总共90000张按程序生成的合成物体的照片，横跨10类糖果、饼干和甜食。

对于每个样本，我们还提供了具有不同受控照明条件的六张渲染图，以及地面真实深度和法线贴图，鼓励探索和比较许多替代方法。

每个对象类别总共包含 1500 个样本，分为训练集、验证集和测试集，分别由 1000 个、100 个和 400 个样本组成。训练和验证集仅提供好的示例，而一半的测试样本是有缺陷的糖果。此外，这 200 个异常样本包含四种异常类型的平衡混合：每种异常类型 40 个示例，总计 160 个示例，其余 40 个包含所有可能的异常。

在Blende框架中生成了Eyecandies数据集，这是一种流行的 3D 建模软件，通过 BlenderProc包[16]（一种用于程序合成数据生成的有用工具）提供与 Python 编程语言的良好互操作性。每个糖果类都被建模为参数化原型，即通过编程语言定义几何形状、纹理和材质的渲染管道。通过这种方式，可以通过一组标量值来控制对象特征，以便每个参数组合都会产生唯一的输出。

异常合成

分类

1.颜色改变，例如污渍和烧伤；

2.形状变形，即凸起或凹痕；

3.划痕和其他小的表面缺陷。

💡

颜色改变改变 RGB 图像，形状变形改变 3D 几何形状，而表面缺陷仅改变法线方向

我们选择包含修改表面法线而不影响 3D 几何形状的缺陷，以表示深度图上难以捕获的小缺陷，例如金属表面上的划痕。因此，我们仅在表面出现凹凸或凹痕的情况下才主动更改网格，而对法线贴图的修改仅对光的反射或折射方式有明显的影响。最后，对于每个局部缺陷，我们提供相应的逐像素二进制掩模，直接从 3D 对象模型渲染，以突出显示检测器应识别为异常的区域。

然而，必须应用重要的约束，因为简单地在黑色背景上生成随机斑点是不够的：它可能最终出现在 UV 贴图岛之外，对对象没有影响，或者更糟的是，在两个岛之间的边缘上，导致多个具有虚假形状的异常。相反，我们从搅拌器中导出对象的原始 UV 贴图，计算有效区域的二进制掩模，然后分离所有连接的组件，并为每个组件计算最大入站矩形。然后生成一个随机斑点并将其缝合到随机选择的入站矩形之一中。这可确保异常始终完全可见，并且永远不会位于 UV 地图岛的边界上。