利索能及
我要发布
收藏
专利号: 202311090524X
申请人: 常熟理工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种焊缝表面缺陷检测方法,其特征在于,所述方法包括:

获取焊缝表面的RGB图和深度图;

将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型,得到检测结果;其中,所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络,所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块;

所述RGB图分支网络与所述深度图分支网络的结构相同,包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块;

所述融合模块包括第一融合模块、第二融合模块和第三融合模块;其中所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端;所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端;所述三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端;

各所述融合模块的输出端均连接所述FPN网络;

所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块;

所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。

2.根据权利要求1所述的方法,其特征在于,所述融合模块中依次包括:相互并行的RGB特征提取支路和深度特征提取支路、分别与所述RGB特征提取支路及所述深度特征提取支路连接的注意力模块、1×1卷积层、BN层和Sigmoid激活函数。

3.根据权利要求2所述的方法,其特征在于,所述RGB特征提取支路和所述深度特征提取支路的结构相同,分别包括依次连接的1×1卷积层、3×3卷积层、CBS模块和ReLU激活函数。

4.根据权利要求3所述的方法,其特征在于,所述RGB特征提取支路和所述深度特征提取支路还分别包括残差边。

5.根据权利要求2所述的方法,其特征在于,所述注意力模块包括空间注意力支路、通道注意力支路以及分别与所述两条支路连接的BN层;

所述空间注意力支路包括依次连接的1×1卷积层、3×3卷积层、3×3卷积层、1×1卷积层和BN层;所述通道注意力支路为Squeeze Excitation模块;其中,所述通道注意力支路的结果与原特征图相乘,再与所述空间注意力支路的结果相加,输入所述BN层;

所述BN层的输出与所述原特征图相乘后再与所述原特征图相加。

6.一种焊缝表面缺陷检测系统,其特征在于,所述系统包括:

获取模块,用于获取焊缝表面的RGB图和深度图;

检测模块,用于将所述RGB图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型,得到检测结果;其中,所述焊缝表面缺陷检测模型包括依次连接的主干网络和FPN网络,所述主干网络包括相互并行的RGB图分支网络、深度图分支网络以及分别位于所述RGB图分支网络和所述深度图分支网络各有效特征层之间的融合模块;

所述RGB图分支网络与所述深度图分支网络的结构相同,包括依次连接的第一CBS模块、第二CBS模块、第一CSP模块、第三CBS模块、第二CSP模块、第四CBS模块、第三CSP模块、第五CBS模块、第四CSP模块、SPPF模块;

所述融合模块包括第一融合模块、第二融合模块和第三融合模块;其中所述第一融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第二CSP模块的输出端;所述第二融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的第三CSP模块的输出端;所述三融合模块的输入端分别连接所述RGB图分支网络与所述深度图分支网络的SPPF模块的输出端;

各所述融合模块的输出端均连接所述FPN网络;

所述第一融合模块的输出结果与所述RGB图分支网络的第二CSP模块的输出结果相加输入所述RGB图分支网络的第四CBS模块;

所述第二融合模块的输出结果与所述RGB图分支网络的第三CSP模块的输出结果相加输入所述RGB图分支网络的第五CBS模块。

7.一种电子设备,其特征在于,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器,用于存储一个或多个程序,当所述一个或多个程序被所述至少一个处理器执行时,能使得所述至少一个处理器实现权利要求1至5任一项所述的焊缝表面缺陷检测方法。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时能实现权利要求1至5任一项所述的焊缝表面缺陷检测方法。