利索能及
我要发布
收藏
专利号: 2020111310859
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:包括如下步骤:S1:初始化弧焊增材制造输出功率及输出功率变化量;

S2:采集弧焊增材制造熔覆池彩色图像;

S3:更新弧焊增材制造输出功率;

S4:分割出熔覆池彩色图像中的熔覆池,同时生成熔覆池的实例掩码和候选框的像素坐标,完成熔覆池的实例分割;

S5:用候选框的像素坐标表示长轴和熔宽像素数大小,计算熔宽像素数变化量,并将生成的输出功率变化量反馈至步骤S3;

S6:判断当前熔覆池彩色图像是否为最后一帧,如果是,则结束打印,如果不是,则回到步骤S2;

所述步骤S4的具体过程为:

S4.1:将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图,对特征图进行自上而下的融合进而生成特征金字塔网络;

S4.2:将步骤S4.1得到的特征金字塔网络输入到区域建议网络中,采用滑动窗口的方式,对特征图里的所有像素点进行遍历,对存在熔覆池的区域生成候选框;

S4.3:将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一;

S4.4:将步骤S4.3每个候选框进行全连接操作,对候选框的位置进行回归、判别候选框内物体是否为熔覆池,得到候选框的像素坐标;

S4.5:将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码;

S4.6:从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中,对熔覆池生成边缘更加精细平滑的掩码,完成熔覆池图像的实例分割;

所述步骤S4.4的具体过程为:

在进行ROIAlign操作后,不同的候选框转换到特征图上的大小已经统一,并在全连接操作后输入Softmax函数,将特征图映射为一个固定长度的特征向量,对候选框的位置进行回归、对候选框内的物体进行分类,得到属于熔覆池的置信度概率值,用来判断候选框内是否为熔覆池,并得到候选框像素坐标(M,N,W,H),其中,M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值,H代表候选框的像素宽度值;

Softmax函数是将上一层的输出映射为0‑1之间的实数,且映射的总和为1,其数学形式如下:其中,Zj是元素的指数值和所有元素指数值之和的比值,Lj是上一层全连接网络的输出,S是总的类别数,通过Softmax函数将经过全连接网络输出的数值转化为概率值,用以判断候选框内物体是否属于熔覆池类别;

使用交叉熵函数作为Softmax的损失函数,数学形式为:

其中,i是元素的序号,ti是真实值,Zj是该元素的指数值和所有元素指数值之和的比值,也即Softmax函数的输出值;

所述步骤S4.5的具体过程为:对所有的候选框,使用双线性插值从特征金字塔网络第二层提取出特征图,通过ROI‑Pooling进行量化,使用卷积操作后连接到ReLU,将空间大小减小为指定大小,最后通过多层感知机为候选框内每个类别生成粗预测掩码;

所述步骤S4.6的具体过程为:在特征金字塔网络中,从分辨率最小的层开始,先对所有像素点进行预测;再对分割结果使用双线性插值进行上采样,选择概率值在设定范围内的点;将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中,对熔覆池生成边缘更加精细平滑的掩码,进行熔覆池图像的实例分割,完成熔覆池的形貌和尺寸识别。

2.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为:搭建熔覆池图像采集系统,利用高清摄像机和滤光片,采集彩色的弧焊增材制造过程中熔覆池图像。

3.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S3中弧焊增材制造输出功率的更新方法为:根据步骤S5得到的输出功率变化量ΔP,更新弧焊增材制造输出功率P,进行更新的公式为P=P+ΔP。

4.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络;

残差网络ResNet50有16个残差块,每个残差单元有三层,将整个残差网络ResNet50分为5个阶段,其中不改变特征图大小的层为一个阶段,每次抽取的特征是各个阶段最后一层的输出,每个残差单元可表示为:yi=f(h(yi‑1)+F(yi‑1));

其中,yi是第i个残差单元的输出,yi‑1是第i‑1个残差单元的输出,f()是激活函数ReLU,h(yi‑1)是第i‑1个残差单元的恒等映射,F(yi‑1)是yi‑1的残差映射;

特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合,残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作,进而与其他阶段的特征图进行融合。

5.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S4.2具体包括如下步骤:S4.2.1:对融合后的特征图,采用滑动窗口的方式,在不同大小的特征图上按不同的比例对所有像素点进行遍历,生成候选框ROI;再分别对候选框进行二分类和回归,得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值;

S4.2.2:对候选框按照前景得分进行过滤和保留,再通过非极大值抑制,将前景得分最高的候选框和其他有重合的候选框进行对比,若重合度大于设定值则舍弃,否则就保留,筛选出最佳的边界框,去除冗余。

6.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S4.3具体包括如下步骤:S4.3.1:遍历所有的候选框,将候选框映射到特征图上对应位置;

S4.3.2:将每个候选框分割为若干个单元,每个单元再均分为若干个小区域,对每个小区域用双线性插值的方法求出中心点像素值;

其中,双线性插值是对原图像像素信息进行重新分布,每个小区域内四个顶点的坐标值分别为A(x1,y1)、B(x1,y2)、C(x2,y2)和D(x2,y1),像素值分别为f(A)、f(B)、f(C)和f(D),且x2>x1、y2>y1,这个小区域的中心点坐标为G(x,y),双线性插值算法如下:A1:对横坐标方向上进行插值,得到E、F点像素值f(E)、f(F);

A2:对点E和F在纵坐标轴上进行插值,得到小区域像素点G的像素值f(G);

S4.3.3:对每个单元的小区域进行最大池化操作,保留最大的像素值,也即每个小区域的中心点像素值。

7.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法,其特征在于:所述步骤S5包括如下步骤:S5.1:由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W,熔覆池短轴也即熔宽的像素数为H;

S5.2:将熔宽像素数H与熔宽像素数标定值进行对比,得到熔宽变化量,并将其输入至模糊控制器,将生成的输出功率变化量ΔP反馈至步骤S3。