利索能及
我要发布
收藏
专利号: 2017113271306
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述焊缝三维形貌检测及拐点识别方法包括以下步骤:

1.对相机、线结构光与机器人进行标定,过程如下:

1.1对相机进行标定,获取相机的内参与外参;

1.2线结构光的光平面方程标定,得到光平面在相机坐标下的方程;

1.3机器人与相机之间位置关系的手眼标定;

2.焊缝结构光图像的获取与处理,过程如下:

2.1通过相机获取到被焊缝表面形状调制过得结构光条纹;

2.2对条纹图像进行预处理,包括焊缝图像的ROI选取,图像去噪,阈值分割;

2.3基于hessian矩阵法与GPU并行计算的结构光中心线亚像素提取;

2.4图像后处理,包括去除飞溅与反光带来的图像上的干扰,修补缺陷等引起的中心线断裂;

3.多层多道焊缝三维空间形貌的获取与拐点特征的识别,过程如下:

3.1记录中心线提取时的计算的hessian矩阵的特征向量;

3.2通过特征向量的方向,设定特征向量差分的阈值来识别多层多道焊缝的拐点;

3.3通过步骤1标定的模型数据,将相机坐标系下中心线的亚像素坐标值转换到机器人坐标系下,作为焊缝表面三维数据供机器人焊接使用。

2.如权利要求1所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述步骤1中,标定是使用线结构光三维检测的基础,通过相机,结构光标定与机器人的手眼标定,将图像坐标系中的坐标值转换到相机坐标系以及机器人坐标系下。

3.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述步骤2.2中,预处理中的去噪包括中值滤波、高斯平滑和阈值分割。

4.如权利要求3所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述阈值分割采用最大类间方差法,图像的ROI提取包括以下两种方式:a)通过计算每一行像素点的灰度值总和,以最大灰度值总和所在行为基行,上下各取一定范围作为初选的ROI区域;

b)若所处理帧不是第一帧,则将前一帧处理后的中心线做膨胀处理,并将膨胀后的范围作为本帧的ROI区域。

5.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述步骤2.3中,中心线亚像素提取采用了hessian矩阵的方法,Hessian矩阵法的处理过程如下:结构光条纹的图像在条纹法向方向的灰度分布近似高斯分布,而像素点hessian矩阵最大特征值对应的特征向量既是条纹法线方向,通过对此方向进行二阶泰勒展开判断该点是否是一阶导数为零,二阶导数小于一定值的点,如果是,即为可判断为中心点,中心线上的点的亚像素级的图像坐标可表示为(x0+tnx,y0+tny);

其中,hessian表达式如下:

法线方向二阶泰勒展开式如下:

其中H(x,y)为像素点坐标x0,y0处的hessian矩阵,gx,gy,gxx,gxy,gyy是二阶偏导的高斯模板与图像卷积的结果,nx,ny为归一化后的特征向量;

其中,t的计算式如下:

满足 且 则可确定为光条中心点,其中心点亚像素级坐标为(x0+tnx,y0+tny)。

6.如权利要求5所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述hessian矩阵中心线提取方法可用GPU并行化计算,并行计算方法如下:

2.3.1、GPU端称为设备端,CPU端称为主机端,设备端开辟内存,主机端准备好图像数据后将图像与模板数据拷贝到设备端,并将高斯模板以常量内存的形式存储。

2.3.2、设备端分配好栅格、块及每个块中的线程数。

2.3.3、在Kernel函数中为每个像素索引线程,分别计算各像素点的Hessian矩阵,并判断中心点的亚像素位置。

2.3.4、拷贝中心线数据到主机,执行后续处理。

7.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述步骤2.4中,图像的后处理包括消除飞溅与反光造成的中心线图像中的噪点和修补因焊豆缺陷造成的中心线断裂。

8.如权利要求7所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:后处理噪点的处理方法如下所述:

2.4.1、在提取中心线后的图像中,连通域小于一定阈值的区域可判别为噪声,根据连通域大小去除噪声,即可去除小连通域;

2.4.2、去除小连通域后的中心线图像为中心线和少量由反光和飞溅导致的与中心线粘连的噪声,因此需要对中心线进行剪枝处理。

9.如权利要求7所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:所述剪枝处理方法如下:a)对于飞溅干扰的小分支,首先从左至右遍历中心线,并标记遍历过的像素点;当遇到中心线中的分支点时同步遍历并记录各分支的长度,当某一支遍历到端点像素时可判断此分支为枝干,因此剪去此分支;

b)对于反光干扰造成的环状分支,因标记了已遍历过得像素,当遍历到已标记的像素点,可判断此分支为反光干扰造成的分支,剪去此分支,最后得到去除飞溅与反光干扰的中心线图像;

其中,分支点与端点用如下方法判断:

提取到的中心线与背景像素存在两种灰度值,0或者1,对于中心线上的任意点p,交叉数的定义如下:式中Pi为该点的灰度值;

p点的八邻域纹线点数定义为其八领域像素灰度值和,即Sn(p)=∑pi;

通过p点的交叉数与纹线点数可将像素点按如下情况分类:分支点:Cn(p)=3,Sn(p)=3;

连续点:Cn(p)=2,Sn(p)=2或3或4;

端点:Cn(p)=1,Sn(p)=1。

10.如权利要求7所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法,其特征在于:焊豆缺陷会造成结构光测量中的中心线断裂的情况,中心线修补的过程如下:线激光器发射的光条是连续的,首先从左至右遍历中心线像素,当遍历到中心线中缺失像素点时,记录缺失像素两端的像素点位置。然后从缺失两点开始分别各取中心线上若干点,通过多项式拟合的方式拟合曲线;最后使用拟合的曲线方程将像素点缺失的位置通过插值得出,得到完整的中心线条纹。