MPPC——多重配对像素一致性解决瑕疵缺陷检测

type

status

date

slug

summary

📝 主旨内容

模型架构

方向编码(Orientation Code，OC)

在本文中，我们处理的是一种表面压印有随机分布的3D微纹理的印刷标志，如图1所示。这种表面是通过压印工艺在金属、塑料或其他材料的表面创建微小的混合凸凹图案而制成的。由于它们具有吸引人的外观、良好的手感和卓越的防滑性能，此类表面已被广泛应用于多种产品中。其三维（3D）微结构均匀地压印在表面上，在光照下产生微小的阴影，并在图像中呈现出随机纹理。这种表面上的光照变化对外观有重大影响，这给缺陷检测带来了困难。

第一行和第二行分别为正常和异常图像
从左到右依次是原图，梯度图像，方向编码图像 — 第一行和第二行分别为正常和异常图像从左到右依次是原图，梯度图像，方向编码图像

Comparing the orientation code (OC) images of defect-free and defective parts shown in Fig. 1, we find a certain similarity in the defect-free part, whereas there is rather prominent variation in the defective part, which shows that it may be possible to utilise the OC as the basis of our development.(比较图1中无缺陷和有缺陷部分的方向编码（OC）图像，我们发现在无缺陷部分存在一定的相似性，而在有缺陷部分则有相当显著的变异，这表明OC可以作为我们开发的依据。)

签名差分(Signed Difference)

💡

签名差分通过考虑方向差异的正负来表达方向变化的细微差别。

精确微分

💡

增强空间敏感性，从而提升对微小缺陷的检测能力

Roberts算子

提出的算子

多重配对像素一致性模型（MPPC）

由于标志可能使用相同的图案打印，基于关于统计模型设计的根本假设，尽管表面具有随机性，预期它们在相同位置将具有相似的纹理。

方向编码计算：首先，将训练图像转换为方向码（OC）图像，以获取图像中每个像素的方向信息。

选择目标和支持像素：对于每个目标像素 P，选择一组与其相关性较高的支持像素 Q，这些支持像素在统计上与 P 保持一致性。

计算方向码差异：在每一对 P 和 Q 的方向码之间计算签名差分（Signed Difference），以获取像素之间的方向变化。

统计建模：对所有配对的方向码差异进行统计，假设其符合单一高斯分布。对于每个目标像素 P 和支持像素 Q 的配对，记录其差异的均值和标准差，并将这些参数保存到查找表（LUT）中，形成无缺陷图像的统计模型。

后处理

观察检测结果，我们还可以看到真实缺陷区域中白色点的高密度和缺陷区域中白色点的稀疏，这表明了前一章中描述的所提算法的有效性。一般来说，任何缺陷都必须是一个封闭、连续和实心的区域。然而，我们的方法独立地对每个像素进行分类。因此，基于像素的MPPC和基于区域的缺陷之间存在差距。

连接成分标记（Connected Component Labeling）

在初步检测结果中，有时一些单独或零散的像素被标记为缺陷，但它们实际上并不构成有意义的缺陷区域。这些零散的“伪缺陷”通常是由噪声引起的。为了解决这个问题，采用连接成分标记方法：

步骤：将检测结果中连续的像素区域（即连接成分）进行标记，并统计其面积大小。

删除小区域：设置一个面积阈值，小于该阈值的连接区域被认为是噪声或伪缺陷，予以删除。

例如，如果阈值设置为5个像素大小，那么面积小于5个像素的所有标记区域都将被移除。

闭运算（Closing Operation）

对于检测到的缺陷区域，通常会出现“空洞”或不连续的情况，导致缺陷区域无法完整显示。闭运算是一种形态学操作，通过填补空洞和连接不连续区域来增强检测结果的连贯性。闭运算包括以下两步：

膨胀（Dilation）：将缺陷区域膨胀，以填补内部的空洞和小间隙，使得区域变得更连贯。

腐蚀（Erosion）：对膨胀后的区域进行腐蚀，以恢复原始的轮廓大小，并确保缺陷区域的边界不被过度扩展。

闭运算的具体公式为：

其中：

表示初步检测结果的二值图像（缺陷像素标记为1，非缺陷像素为0）。

为结构元素（例如大小为5×5的矩形或圆形）。

表示膨胀操作，表示腐蚀操作。

调整参数

在实际应用中，可以根据具体检测任务的要求，通过实验调整后处理中的参数（如连接成分的阈值和结构元素的大小），以在精度和召回率之间找到平衡。

实验

鲁棒性实验

方法对比

效率

ㅤ	整个训练过程	每个像素训练时间	推理单张图像时间	每个像素推理时间
MATLAB	9548.69s	0.78s	ㅤ	1.6us
C++	111.06s	9.09ms	0.945ms	0.0773us