利索能及
我要发布
收藏
专利号: 2023102938542
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种输水管道内壁检测方法,其特征在于包括如下步骤,步骤1、在巡检机器人开始对输水管道进行检测作业前,判断巡检机器人的成像系统是否标定,成像系统的标定分为相机标定和光平面标定,若成像系统还没有标定完成,则开始执行步骤2,若巡检机器人已经标定完成,则开始执行步骤5;

步骤2、将二维平面靶标放置于输水管道内,使用线激光发射器将设定波长的线状光斑投射到二维平面靶标上,通过线激光发射器配对的摄像机采集带有线状光斑的二维平面靶标图像;

判断是否需要对相机进行标定,不需要对相机进行标定时,则对光平面标定;如果需要标定,采用张正友标定法对相机进行标定,求解出相机内参和相机外参,根据实际像素坐标与计算得到的像素坐标计算重投影误差,反复迭代摄像机和内外参数和畸变参数,直至收敛,完成相机标定;

步骤3、进行光平面标定时,首先完成图像处理和线状光斑中心特征点的提取,然后进行光平面标定;

步骤4、判断巡检机器人的四组成像系统是否全部标定完成,若成像系统全部标定完成则执行步骤5,若还有成像系统没有标定完成则继续执行步骤2,最终得到四组光平面分别在相机坐标系 、 、 、 下的方程,分别为:

0 (12)

0 (13)

0 (14)

0 (15)

式(12),(13),(14),(15)中, , ,, , , , , , , ,, , , , , 为光平面常数系数;

步骤5、当巡检机器人成像系统全部标定完成时,判断此时的巡检机器人位姿是否为期望位姿,若此时巡检机器人为期望位姿则执行步骤6,若此时巡检机器人不满足期望位姿则对巡检机器人进行姿态调整,调整结束后重新判断此时的巡检机器人位姿是否为期望位姿;

步骤6:巡检机器人在输水管道内部前行时,四个不同空间位置的能发射设定波长的线激光发射器同时将线状光斑投射到输水管道内壁上;

步骤7:在每个线激光发射器附近安装摄像机,用于采集投影到管道内壁上面的光斑图像,将采集到的图像采用高斯滤波进行去噪,使用灰度重心法,计算得到光斑条纹中心特征点,并利用该条纹中心特征点计算得到该点在相机坐标系下的三维坐标,遍历该线状光斑上的所有中心特征点,得到整条线状光斑在相机坐标系下的三维坐标,对四组摄像机采集到的线状光斑图像重复步骤7,得到四条线状光斑中心特征点在相机坐标系下的三维坐标;

步骤8:判断此时是否已经完成对输水管道的扫描,若没有完成则继续执行步骤5,若已经完成整条输水管道的扫描工作,则执行步骤9;

步骤9:伴随着四组激光发射器发射的线状光斑扫描整条输水管道,对四条线状光斑上所有的中心特征点,执行步骤7的操作,得到所有特征点在对应相机坐标系下的坐标;

步骤10:将得到的所有线状光斑特征点在对应相机坐标系下的坐标转化为在管道坐标系下的坐标,绘制输水管道三维图像;

所述的步骤3中,

步骤3.1、完成图像处理和线状光斑中心特征点的提取,将采集到的带有线状光斑的二维平面靶标图像采用高斯滤波进行去噪,去噪后使用灰度重心法提取线状光斑的中心特征点,所述的灰度重心法:在线状光斑行坐标的方向上逐行计算光斑区域的灰度重心点,并用该点来代表截面的光斑中心特征点位置;对于包含M行N列的图像,光斑第 列的灰度重心坐标为 ,式中 , 表示坐标 处的像素灰度值,;

步骤3.2:完成光平面标定,从步骤2中得到相机内参 , , ,旋转矩阵 和平移向量 ,设 为光斑中心特征点在相机坐标系 下的坐标,为该特征点在图像平面上的投影点位于像素坐标系下的齐次坐标, 为该特征点在图像平面上的投影点位于相机坐标系下的坐标, 为该特征点在归一化图像平面上的投影点坐标,投影点坐标: ,其中 , , 为相机内参,为特征点在图像平面上的投影点位于像素坐标系下的坐标,联立光斑中心特征点位于归一化图像坐标系上的投影点和相机光心,求得同时过该投影点和相机光心的直线方程(7) (7)

式(7)中, 为光斑中心特征点在相机坐标系下的坐标, 为该特征点在归一化图像平面上的投影点坐标,

设二维平面靶标在靶标坐标系下的方程为:

(8)

式(8)中, 为常数系数;

相机坐标系 与靶标坐标系 的转换关系为:

(6)

式(6)中,旋转矩阵 为相机坐标系 与靶标坐标系 之间的相对旋转,旋转矩阵 为一个三行三列的矩阵;平移向量 为相机坐标系 与靶标坐标系 之间的相对位移,平移向量 为三行一列的向量;

将式(6)与方程(8)联立可得,二维平面靶标位于相机坐标系下的方程为: (9)

靶标坐标系建立在二维平面靶标上,因此(8)式退化为 ,即 0,将代入(9)式可得二维平面靶标在相机坐标系下的方程为: (10)

令 ,最终得到二维平面靶标在相机坐标系下的方程

为:

(11)

联立方程(7)与方程(11),求得光斑中心特征点位于相机坐标系 下的坐标值 分别为 , , ,选取线状光斑上的任意特征点重复上述过程,最终获得整条线状光斑特征点位于相机坐标系下的点,确定一个平面需要最少三个不共线的点坐标,判断此时系统是否已满足确定平面的条件,若不满足,最少改变一次二维平面靶标位姿后,继续从步骤2开始执行,满足条件则使用三个或三个以上的不共线特征点位于相机坐标系的坐标,完成光平面的标定,得到光平面方程(9)在相机坐标系 下的方程,

0 (12)

式(12)中, , ,, 为光平面常数系数。

2.根据权利要求1所述的输水管道内壁检测方法,其特征在于,巡检机器人的期望位姿为:巡检机器人位于输水管道中心位置,沿输水管道水流方向水平向前运动,当巡检机器人满足期望位姿时,机器人坐标系 与输水管道坐标系方向完全相同。

3.根据权利要求1所述的输水管道内壁检测方法,其特征在于,所述的四个线激光发射器中,线激光发射器a位于巡检机器人前端上侧的中心位置,方向相对于机器人朝上,投射出线结构光范围大于90°,线激光发射器b位于巡检机器人后端右侧的中心位置,方向相对于机器人朝右,投射出线结构光范围大于90°,线激光发射器c位于巡检机器人前端下侧的中心位置,方向相对于机器人朝下,投射出线结构光范围大于

90°,线激光发射器d 位于巡检机器人后端左侧的中心位置,方向相对于机器人朝左,投射出线结构光范围大于90°,四组线激光发射器在空间上的位置各不相同,将整条输水管道完全覆盖。

4.根据权利要求1所述的输水管道内壁检测方法,其特征在于,步骤7中,计算得到光斑条纹中心特征点,将光斑中心特征点代入针孔相机模型的约束条件,联立步骤3.2求得的光平面方程,并获得该条纹中心特征点的在相机坐标系下的三维坐标;

针孔相机模型的约束条件为  ; 式中 )为相机传感器平面上的点,为相机焦距,( , , )为 )对应的相机坐标系的坐标,设摄像头a上相机传感器平面的坐标为 ,最终得到线状光斑特征点位于相机坐标系 的点:( ,  ,  ); ; ;

其中 , ,, 为步骤3.2得到的光平面常数系数,设摄像头b上相机传感器平面的坐标为 ,摄像头c上相机传感器平面的坐标为,摄像头d上相机传感器平面的坐标为 ,最终得到线状光斑特征点位于相机坐标系 的点,分别为( ,  ,  ), , ,  ),( ,  ,  )

其中 ; ; ;

; ; ;

; ; ;

其中 , , , , , ,, , , , , 为光平面常数系数。

5.根据权利要求1所述的输水管道内壁检测方法,其特征在于,巡检机器人包括前视系统、推进系统、惯性导航系统、测速系统、照明系统、控制系统、测距和避障系统和成像系统,所述前视系统包括设置在机器人前部的用于观察输水管道前方信息的摄像头;

所述推进系统包括四个推进器,分别为两个行进推进器和浮潜推进器,在机器人尾部设置用于推进机器人的行进推进器,在机器人两侧设置用于巡检机器人浮潜的浮潜推进器;

所述的惯性导航系统采用用于判断巡检机器人的位姿信息的MEMS微型航姿系统;

所述测速系统采用多普勒测速仪,用于测量巡检机器人的速度;

所述照明系统用于提供光源;

所述测距和避障系统用于测量巡检机器人与前方障碍物和输水管道内壁的距离;

所述成像系统包括线激光发射器及与激光发射器配合的摄像机,线激光发射器用来发射设定波长的线状光斑,摄像机用来拍摄线激光发射器投射到输水管道内壁上的光斑图像;

所述控制系统与上述的前视系统、推进系统、惯性导航系统、测速系统、照明系统、测距和避障系统和成像系统连接。

6.根据权利要求5所述的输水管道内壁检测方法,其特征在于,所述测距和避障系统包括六个超声波测距仪,其中的两个超声波测距仪设置在巡检机器人前端,用于测量巡检机器人与前方障碍物的距离;另外四个超声波测距仪位于巡检机器人的后端且环形安装,相邻两个超声波测距仪相差 ,用于判断巡检机器人与输水管道内壁的距离。

7.根据权利要求1所述的输水管道内壁检测方法,其特征在于,所述成像系统为四组,每组均包括一个线激光发射器和一个摄像机,线激光发射器用来发射设定波长的线状光斑,摄像机用来拍摄投射到输水管道内壁上的光斑图像,每组中的摄像机用于拍摄本组的线激光发射器的光斑图像,四组成像系统形成对输水管道内部的全部成像。