利索能及
我要发布
收藏
专利号: 2024103490398
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,包括如下步骤:步骤1、使用水下摄像设备在水下拍摄管道的视频或图像数据并预处理;

步骤2、对水下拍摄设备进行标定,并通过最小化重投影误差来估计拍摄设备的内参和外参;

步骤3、生成水下管道的三维模型;

步骤3.1、对预处理后的图像数据使用SURF算法进行特征提取,提取的特征包括图像中的关键点和特征描述子;

使用SURF算法提取特征的方法为:

首先获取Hessian矩阵,获取方式为:

然后再使用Hessian矩阵来检测图像中的兴趣点,其中Lxx(x,σ),Lxy(x,σ),Lyy(x,σ)分别是图像在点x处和尺度σ处的二阶导数;

在确定了兴趣点后,使用Haar小波响应的积分图像来确定主要方向,主要方向由以下公式确定:其中HaarX(p)和HaarY(p)是p处的Haar小波响应;

最后使用一种基于梯度的描述符来描述兴趣点周围的图像区域,从而得到特征描述子;

所述描述符的计算方法为:将兴趣点周围的区域划分为小的子区域,对每个子区域计算Haar小波响应,并构建一个向量,将所有子区域的向量连接起来,形成最终的描述符;

步骤3.2、通过步骤3.1过程中得到的每张图片的关键点和特征描述子数据,利用三角测量方法计算图像中特征点的三维坐标,生成稀疏的三维点云数据,进而得到点云数据集,并根据内参和外参将三维点云数据转换到世界坐标系中;

步骤3.3、基于稀疏的三维点云数据,利用三次样条插值算法生成稠密的三维点云,从而得到三维模型;

步骤4、将三维模型中的管道与周围环境进行分割,提取出管道的区域,将提取的管道区域以及有缺损区域的点云数据集分别进行标注得到管道标注数据,并对缺陷情况进行分类;

在对三维模型进行分割提取管道区域时,管道的边缘判断使用曲率,公式如下:其中n为法线向量,P为表示特征点的三维坐标, 表示梯度;

步骤5、使用预训练的卷积神经网络深度学习模型对分割后的管道进行验伤分析;

步骤6、将分析结果以可视化的方式展示出来。

2.根据权利要求1所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述步骤1中,预处理方法包括去除水下环境中的噪声、调整图像质量、图像去噪、图像增强和图像配准。

3.根据权利要求2所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述图像配准的方法为:首先通过DoG金字塔中寻找极值点来确定关键点,方法如下:D(x,y,σ)=D(x,y,σ)‑max(D(x,y‑1,σ),D(x,y+1,σ),D(x‑1,y,σ),D(x+1,y,σ),D(x,y,σ‑1),D(x,y,σ+1))其中σ为尺度参数,x,y为图像坐标;

然后确定关键点的主方向,使关键点具有旋转不变性,方法如下:其中D(x,y)为DoG响应,θ(x,y)为关键点的方向。

4.根据权利要求1所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述步骤2中标定的方法为:步骤2.1、获取一个具有规则格点的标定板;

步骤2.2、将标定板固定在已知位置,使得标定板完整出现在拍摄设备的视野中;

步骤2.3、通过旋转矩阵R和平移向量t,调整标定板在世界坐标系中的位置和姿态参数,其中R为3x3的旋转矩阵,t为3x1的平移向量;

步骤2.4、采集多个角度和位置下的标定板图像,假设有N个图像,每个图像对应一个世界坐标系中的点和像素坐标系中的点,可表示为:其中 是世界坐标系中的点, 是像素坐标系中的点。

5.根据权利要求1所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述步骤3中,生成稀疏的三维点云数据的方法为:‑1 ‑1

P=s·(A a1‑B b1)

其中,P表示特征点的三维坐标,s是尺度因子,A和B是相机内参矩阵,a1和b1是特征点在两个视角下的归一化平面坐标;

生成稠密的三维点云数据的方法为:

2 3

f(x)=a0+a1(x‑xi)+a2(x‑xi) +a3(x‑xi)其中,a0,a1,a2,a3是通过已知点和导数计算得到的系数。

6.根据权利要求1所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述步骤5中,将步骤3得到点云数据集和步骤4得到的管道标注数据作为输入训练卷积神经网络深度学习模型。

7.根据权利要求6所述的一种基于三维重建和深度学习的水下管道验伤视觉算法,其特征在于,所述卷积神经网络深度学习模型训练过程表示为优化损失函数的过程,所述损失函数表达式如下:其中N是训练样本的数量,C是类别的数量,yi,c是第i个样板的实际标签,yi,c为0或1,用以表示是否破损, 是模型对第i个样本的类别c的预测概率。