利索能及
我要发布
收藏
专利号: 2021106352593
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种特征融合权重可调的金属打印熔池检测方法,其特征在于,包括以下步骤:步骤1:采集激光熔覆式3D打印熔池的彩色图像,将彩色图像划分为训练集、验证集与测试集,对训练集与验证集彩色图像进行标注,生成标签文件;

步骤2:搭建神经网络主干模块用于彩色图像的特征提取,获得三种不同尺寸的特征图;

步骤3:设置特征融合权重,搭建特征处理模块,并与步骤2搭建的神经网络主干模块结合,完成整个神经网络;

步骤4:将训练集与验证集的彩色图像与标签文件送入神经网络进行训练,使用测试集观察所得模型的质量,设置新的特征融合参数,反复训练直到得到训练好的神经网络模型;

步骤5:使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测,保存检测结果图像;

步骤2包括:

步骤2.1:将输入的彩色图像尺寸统一成416*416;

步骤2.2:将尺寸统一后的彩色图像依次送到一个Darknet结构与三个残差结构进行卷积操作,并获取此时的特征图P3;

步骤2.3:将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图P4,再送入一个残差结构与SPP结构,获取最后一个特征图P5;

步骤3包括:

步骤3.1:将P5特征图设定为初始特征图,将P5、P4、P3特征图的加权值分别设置为3、2、

1;

步骤3.2:特征图融合前需要处理特征图尺寸,使用上采样的方法,将P5特征图的尺寸调整为P4特征图的尺寸,将P4特征图调整为P3特征图的尺寸,特征图的尺寸根据公式(1)计算:其中,L为计算后的特征图边长,Lin为输入的特征图边长,P为卷积操作零填充的数量,D为卷积核元素之间的步幅,K为卷积核的大小,S为卷积的步长;

步骤3.3:每次特征融合前需要选择特征图的融合方式,每个特征层的第一次特征融合,使用concat方式,在第一维度上进行特征融合,concat特征融合后的通道数Zconcat通过公式(2)计算:其中,c为参与计算的特征图总数,i为参与计算特征图的序号,Xi为进行融合的一个特征图通道,Xi′为进行特征融合的另一个特征图通道,h()表示卷积计算,Ki和Ki+c为与两个特征图进行卷积计算的卷积核;

每个特征层的非第一次特征融合,使用直接相加add的方式进行特征融合,特征图的通道数保持不变,add特征融合的输出通道数Zadd通过公式(3)计算:步骤3.4:concat特征融合之后,将获得的特征图进行5次卷积,对特征进行进一步的提取且不改变特征图的尺寸,add特征融合之后,经过一次mish激活函数,mish激活函数的表达式如公式(4):x

mish=x*tanh(ln(1+e))                        (4)其中的x表示输入的特征图张量;

步骤3.5:整个特征处理模块每个特征图参与计算的情况由公式(5)表示:其中,x(n)表示第n层的特征图张量,n取3、4、5;M(n)表示第n层的加权值,concat表示concat特征融合方式;

步骤3.6:在完成特征图的处理之后,将获得的特征图与输入的原始特征图进行融合,融合之前先经过一次卷积核尺寸为1*1的卷积,再进行add融合;

所有特征图的融合顺序为:P5特征图选定为初始特征图之后,首先与自身进行两次add特征融合并且使用mish激活函数来提提升特征图的表达能力,作为第一张输出的特征图F5,之后经过一次下采样与P4特征图进行concat特征融合,再经过5次卷积后与P4特征图进行一次add特征融合并且使用mish激活函数来提提升特征图的表达能力,得到第二张输出的特征图F4,其次再进行一次下采样与P3特征图进行concat特征融合,再经过5次卷积得到第三张输出的特征图F3,将得到的三张特征图F3、F4、F5与原始的三张特征图P3、P4、P5各自经过一次卷积核尺寸为1*1的卷积后,再将卷积后的F5、F4、F3与卷积后的P5、P4、P3对应地进行add特征融合,完成整个特征融合过程。

2.根据权利要求1所述的方法,其特征在于,步骤1包括:

步骤1.1:录制激光熔覆式3D打印熔池的视频,对视频进行分帧处理,舍弃不清晰和不包含熔池的图像,保存N1张可用的激光熔覆式3D打印熔池彩色图像;

步骤1.2:将获取的彩色图像按一定比例划分为训练集、验证集与测试集,对训练集与验证集彩色图像进行标注,生成标签文件,测试集用于对训练得到模型的质量评估。

3.根据权利要求2所述的方法,其特征在于,步骤4包括:

步骤4.1:将训练集与验证集的彩色图像送入神经网络进行训练,训练时,每N2张图像作为一个训练单元;

步骤4.2:损失函数使用CIOU损失函数,训练时学习率按余弦函数进行衰减,一共训练N3次,得到训练好的神经网络模型;

步骤4.3:将测试集彩色图像输入到训练好的神经网络模型进行检测,观察检测结果的预测框与真实框的交并比,如果测试集检测结果的预测框与真实框的交并比平均值小于X,则重新设置特征融合的权重,重复步骤4.1与步骤4.2,直到得到的模型达到要求,保存预测框与真实框交并比平均值最高的模型为基于特征融合权重可调的熔池检测模型。

4.根据权利要求3所述的方法,其特征在于,步骤5包括:

步骤5.1:将激光熔覆式3D打印熔池彩色图像输入到基于特征融合权重可调的熔池检测模型中进行目标检测;

步骤5.2:基于特征融合权重可调的熔池检测模型的神经网络主干模块对输入的图像进行特征提取,输出3种特征图;

步骤5.3:基于可调权重的特征融合的熔池检测模型的特征处理模块对特征图进行特征融合,输出熔池检测的结果,完成熔池检测。