点云预处理论文素材

type

status

date

slug

summary

📝 主旨内容

贡献(创新点)

提出了一种针对MVTec 3D-AD数据集的用于工业异常检测的多模态预处理方法

我们的方法结合最先进的异常检测方法取得了新的sota成绩

与传统预处理方法相比处理时间下降了151倍，CPU占用下降了5倍，内存消耗下降了18倍

我们的方法能够很好地融合现有的异常检测方法，形成一个端到端的具备实时性能的多模态工业异常检测框架，与传统异常检测方法相比FPS最高提升120倍

比较的方法

方法名	发表会议/期刊	时间	ㅤ	预处理方法
3D-ADS	CVPRW	2023		BTF
CPMF	Pattern Recognition(PR)	2023		BTF
AST	WACV	2023		AST
M3DM	CVPR	2023		BTF
EasyNet	MM	2023		BTF
Shape-Guild	ICML	2023		BTF
3DSR	WACV	2024		3DSR

配图

不可能铁三角

具体提升/下降的倍数

随CPU性能的变化(附录)

预处理结果对比(更好的可视化方式？)

ㅤ	类1	类2	类3	类4	类5	类6
RGB	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
Point Cloud	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
去除平面	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
padded	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
去除多余联通块	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ours	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

异常检测结果可视化

流程可视化+算法实现

测试强行端到端的FPS(各种方法仅更换预处理部分)

探索阈值设置对时间功耗效果的影响

表格

附件

全部表格数据

CPU 内存占用表格

时间

性能

参考文献

数据集

MVtec 3dad

MVtec ad

Eyecandies

三维异常检测

3D-ADS

M3DM

CPMF

EasyNet

Shaped_Guilded

二维异常检测

A Unified Model for Multi-class Anomaly Detection

patchcore

simplenet

异常检测指标

AUPRO

BTF原理解析

RANSAC

DB-Scan

open3d

2D异常检测？

分析原因

BTF

预处理有效，得看具体方法

BTF预处理日志

M3DM训练并测试双库版本并保存该功能以进行 UFF 训练

Train and test the double lib version and save the feature for UFF training:

Train the UFF:

Train and test the full setting with the following command:

V100上执行提供的预训练模型日志

V100上执行提供的预训练模型日志(无预处理)

预处理大幅减少基于Memery Bank方法的内存占用

M3DM I-AUROC

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
双库版本	0.996	0.829	0.982	0.946	0.899	0.865	0.877	0.944	0.957	0.794	0.909
双库版本(processed)	0.994	0.846	0.981	0.968	0.901	0.869	0.930	0.951	0.968	0.848	0.9256
双库版本(raw)	0.989	0.884	0.980	0.968	0.892	0.841	0.943	0.946	0.993	0.836	0.9272
双库版本(Ours)	0.984	0.802	0.981	0.941	0.936	0.852	0.938	0.945	0.94	0.963	0.918
公开预训练权重的融合版本	0.998	0.901	0.972	0.972	0.926	0.897	0.958	0.906	0.976	0.811	0.932
论文报告	0.994	0.909	0.972	0.976	0.960	0.942	0.973	0.899	0.972	0.850	0.945
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
公开预训练权重的融合版本(不预处理)	0.999	0.946	0.976	0.955	0.899	0.869	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

M3DM P-AUROC

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
双库版本	0.994	0.992	0.996	0.978	0.981	0.982	0.996	0.994	0.996	0.995	0.99
双库版本(processed)	0.994	0.992	0.996	0.978	0.981	0.982	0.996	0.994	0.997	0.995	0.9905
双库版本(raw)	0.993	0.980	0.996	0.967	0.984	0.983	0.995	0.996	0.993	0.990	0.9877
双库版本(Ours)	0.993	0.992	0.996	0.978	0.981	0.982	0.996	0.994	0.997	0.995	0.99
公开预训练权重的融合版本	0.994	0.993	0.997	0.985	0.985	0.98	0.996	0.994	0.997	0.995	0.992
论文报告	0.995	0.993	0.997	0.985	0.985	0.984	0.996	0.994	0.997	0.996	0.992
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
公开预训练权重的融合版本(不预处理)	0.995	0.988	0.997	0.978	0.992	0.988	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

M3DM AUPRO

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
双库版本	0.996	0.968	0.978	0.935	0.93	0.927	0.977	0.966	0.969	0.972	0.959
双库版本(processed)	0.968	0.969	0.978	0.935	0.928	0.926	0.976	0.966	0.970	0.971	0.9587
双库版本(raw)	0.971	0.931	0.973	0.930	0.923	0.922	0.974	0.973	0.948	0.954	0.9499
双库版本(Ours)	0.966	0.968	0.978	0.932	0.931	0.927	0.976	0.967	0.97	0.972	0.959
公开预训练权重的融合版本	0.969	0.97	0.978	0.948	0.94	0.918	0.976	0.965	0.971	0.973	0.961
论文报告	0.970	0.971	0.979	0.950	0.941	0.932	0.977	0.971	0.971	0.975	0.964
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
公开预训练权重的融合版本(不预处理)	0.975	0.957	0.978	0.946	0.952	0.944	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

双库版本(processed)

双库版本(raw)

预训练uff日志

原参数第8个epoch的结果

原参数第3个epoch的结果

原参数第17个epoch的结果

原参数第200个epoch的结果

原参数第400个epoch的结果

ㅤ	ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Mean
epochs=3	I-AUROC	0.782	0.653	ㅤ	ㅤ	ㅤ	ㅤ	0.7175
ㅤ	P-AUROC	0.971	0.956	ㅤ	ㅤ	ㅤ	ㅤ	0.9635
ㅤ	AUPRO	0.894	0.859	ㅤ	ㅤ	ㅤ	ㅤ	0.8765
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=8	I-AUROC	0.808	0.540	0.775	0.601	0.713	0.739	0.696
ㅤ	P-AUROC	0.975	0.960	0.989	0.926	0.912	0.978	0.957
ㅤ	AUPRO	0.920	0.861	0.958	0.804	0.772	0.914	0.872
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=17	I-AUROC	0.876	0.592	0.730	0.650	0.691	ㅤ	0.708
ㅤ	P-AUROC	0.985	0.958	0.989	0.913	0.928	ㅤ	0.955
ㅤ	AUPRO	0.946	0.862	0.959	0.778	0.801	ㅤ	0.869
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=200	I-AUROC	0.811	0.823	0.853	0.717	0.678	0.629	0.752
ㅤ	P-AUROC	0.990	0.986	0.989	0.960	0.974	0.908	0.968
ㅤ	AUPRO	0.960	0.953	0.960	0.888	0.911	0.699	0.896
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=400	I-AUROC	0.756	0.683	0.723	0.771	0.638	ㅤ	0.714
ㅤ	P-AUROC	0.977	0.971	0.978	0.943	0.973	ㅤ	ㅤ
ㅤ	AUPRO	0.921	0.926	0.918	0.854	0.910	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
公开权重	I-AUROC	0.994	0.993	0.997	0.985	0.985	0.98	ㅤ
ㅤ	P-AUROC	0.994	0.993	0.997	0.985	0.985	0.98	ㅤ
ㅤ	AUPRO	0.969	0.97	0.978	0.948	0.94	0.918	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

BatchSize 1

epochs=199 日志

ㅤ	ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Mean
epochs=199	I-AUROC	0.780	0.646	0.488	0.472	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	0.977	0.945	0.975	0.918	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	0.911	0.832	0.914	0.755	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=8	I-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=17	I-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
epochs=30	I-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

BTF(3D-ADS)——RTX3090

日志(不预处理)

BTF I-AUROC

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
论文报告	0.938	0.765	0.972	0.888	0.960	0.664	0.904	0.929	0.982	0.726	0.873
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
不预处理	0.951	0.811	0.975	0.888	0.961	0.587	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

BTF P-AUROC

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
论文报告	0.996	0.991	0.997	0.995	0.995	0.972	0.996	0.998	0.995	0.994	0.993
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
不预处理	0.995	0.992	0.997	0.995	0.995	0.973	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

BTF AUPRO

ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Peach	Potato	Rope	Tire	Mean
论文报告	0.976	0.967	0.979	0.974	0.971	0.884	0.976	0.981	0.959	0.971	0.964
同环境复现	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
不预处理	0.975	0.967	0.979	0.975	0.972	0.877	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

EasyNet

TaoTao9 • Updated Jun 20, 2024

DRAEM

VitjanZ • Updated Jul 17, 2024

回滚两次恢复训练文件和readme

训练bagel日志

ㅤ	ㅤ	Bagel	Cable_Gland	Carrot	Cookie	Dowel	Foam	Mean
论文数值	I-AUROC	0.991	0.998	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	0.839	0.864	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
复现数值(250epoch)	I-AUROC	0.960	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	P-AUROC	0.990	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	AUPRO	0.908	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ
ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ	ㅤ

📝 主旨内容

贡献(创新点)

比较的方法

配图

不可能铁三角

具体提升/下降的倍数

随CPU性能的变化(附录)

预处理结果对比(更好的可视化方式？)

异常检测结果可视化

流程可视化+算法实现

测试强行端到端的FPS(各种方法仅更换预处理部分)

探索阈值设置对时间 功耗 效果的影响

表格

附件

更多可视化结果

全部表格数据

参考文献

数据集

三维异常检测

二维异常检测

异常检测指标

BTF原理解析

2D异常检测？

分析原因

BTF预处理日志

M3DM训练并测试双库版本并保存该功能以进行 UFF 训练

V100上执行提供的预训练模型日志

V100上执行提供的预训练模型日志(无预处理)

M3DM I-AUROC

M3DM P-AUROC

M3DM AUPRO

预训练uff日志

原参数第8个epoch的结果

原参数第3个epoch的结果

原参数第17个epoch的结果

原参数第200个epoch的结果

原参数第400个epoch的结果

BatchSize 1

epochs=199 日志

BTF(3D-ADS)——RTX3090

日志(不预处理)

BTF I-AUROC

BTF P-AUROC

BTF AUPRO

EasyNet

训练bagel日志

🤗 总结归纳

📎 参考文章

探索阈值设置对时间功耗效果的影响