A Comprehensive Augmentation Framework for Anomaly Detection

affiliation

东南大学

Datasets

MVTec-AD

PDF

全面的异常模拟框架

The anomaly simulation process aims for diversity, but using all augmentations indiscriminately may result in suboptimal outcomes since the same augmentation may not be considered anomalous for different classes. Unlike previous automated methods, we believe that manual intervention is necessary to determine the appropriate combination of anomaly simulation methods since the human definition of anomalies varies in each class. Therefore, we additionally propose a simple yet effective selection strategy that disables certain augmentations if it is considered irrelevant in creating anomalies.

异常模拟过程旨在实现多样性，但不加区分地使用所有增强可能会导致次优结果，因为相同的增强可能不会被视为不同类别的异常。与以前的自动化方法不同，我们认为需要人工干预来确定异常模拟方法的适当组合，因为人类对异常的定义在每个类别中都不同。因此，我们还提出了一种简单而有效的选择策略，如果某些增强被认为与创建异常无关，则禁用该策略。

近似分布异常增强方法NDAA

选择矩形区域并进行扭曲：首先，从原始图像中选择一个矩形区域，并根据正弦曲线对其进行扭曲变形。这一步的目的是在图像中引入局部的结构性变化。

计算差异并生成初始掩膜 ：通过计算原始图像和扭曲图像之间的绝对差异，生成一个差异图。然后，使用一个阈值来过滤这些差异，从而得到一个初始的掩膜

掩膜滤波：因为初始掩膜中包含许多分散的小点，接下来我们进行掩膜滤波。具体操作如下：

块缩减 (Block Reduce)：将初始掩膜图像进行块缩减，降低图像的分辨率，以便连接相近的小点。

调整大小 (Resize)：将缩减后的图像重新调整回原始尺寸。

阈值处理 (Thresholding)：对调整大小后的图像进行阈值处理，生成新的掩膜，使相近的小点连成连续的区域。然而，这一步也会使原始掩膜区域扩大。

计算像素乘积：为了去除噪声并保留密集区域，计算初始掩膜和新的掩膜之间的逐像素乘积。这样做可以保留那些在两个掩膜中都存在的密集区域，而过滤掉噪声点。

生成最终图像：最后，将原始图像中对应于最终掩膜区域的部分替换为扭曲后的区域，从而得到最终的增强图像。这一步是将处理过的异常区域合并到原始图像中，形成一个包含近分布异常的图像。

通过上述过程，可以在图像中构建出包含局部结构性变化的异常区域。

重建任务与分割任务独立

💡

旋转增强会引入可能会引入新的异常，去除后又会重构网络过拟合，在测试阶段重构出模糊的图像进而影响了分割性能

结果

However, it is currently infeasible for researchers to create a dataset with a truly representative test set, considering the massive cost and rarity of anomalies. Therefore, based on the definition we made previously on the categories of anomalies, we proposed to utilize these synthetic methods to create a simulated dataset to conduct further evaluations of the models. Although we could not guarantee that the methods that perform well in the simulated dataset will generalize well in real-world scenarios, it is however certain that a method that performs poorly under simulated scenarios will be harder to claim good generalization performance in the real world.

然而，考虑到异常的巨额成本和稀缺性，目前研究人员不可能创建一个具有真正代表性的测试集数据集。因此，基于我们之前对异常类别的定义，我们建议利用这些合成方法来创建一个模拟数据集，以对模型进行进一步的评估。虽然我们无法保证在模拟数据集中表现良好的方法在真实场景中也能很好地推广，但可以肯定的是，在模拟场景下表现不佳的方法将更难在现实世界中获得良好的泛化性能。