利索能及
我要发布
收藏
专利号: 2025103292688
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种光学靶标先验约束的水下双目定位方法,其特征在于,该方法包括以下步骤:S1,对双目相机各参数初值进行标定,建立顾及相机畸变的双目立体视觉模型;

S2,构建水下先验光学靶标的图像数据集,通过特征变换识别提取潜在特征点,利用拟合函数对图像去噪提升特征点质量;

S3,对水下先验光学靶标的图像数据集中的去噪图像进行特征点匹配,利用光学靶标点的先验位置信息作为深度约束条件进行验证,剔除匹配特征点中位置偏差过大的错误匹配;

S4,将待测靶标投影位置同靶标先验投影位置联合建立重投影误差函数,以光学靶标产生的共线关系作为多靶标几何约束条件,迭代优化双目立体视觉模型参数直至重投影误差满足精度要求;

在步骤S3中,对水下先验光学靶标的图像数据集中的去噪图像进行特征点匹配,利用光学靶标点的先验位置信息作为深度约束条件进行验证,剔除匹配特征点中位置偏差过大的错误匹配,包括:S301,对去噪重匹配的特征点赋予旋转不变性,防止水下机器人微小运动导致的特征点匹配失败;以特征点为中心,在其邻域内计算梯度幅值和方向,表达式为:式中,Lpic(x,y)为尺度空间中经过高斯滤波处理后的图像,ρ(x,y)为特征点的距离参数,θ(x,y)为特征点的方向参数,atctan为反正切函数;

S302,匹配双目图像中一对特征点,计算一对特征描述子间的欧几里得距离,对于两张水下图像中的特征点Pleft和Pright,描述子分别为Pleft=(Dl1,Dl2…Dl128)和Pright=(Dr1,Dr2…Dr128),其欧几里得距离 Pleft为一对特征点在左目的描述子,Pright为一对特征点在右目的描述子,Dli为左特征点描述子的方向元素,Dri为右特征点描述子的方向元素;

S303,根据先验位置深度对特征点识别准确性进行验证,双目立体视觉模型计算得到光学靶标在图像上两个位置准确的像点,像素坐标为Pleft(xleft,yleft)Pright(xright,yright),匹配的一对特征点深度为 根据先验信息,靶标特征点的世界坐标为 truth为真值,该靶标特征点计算深度Zdepth和先验深度定义深度误差为:

式中,ΔZ为深度误差;

当深度误差值超过设定阈值εZ,则认为这对特征点是匹配错误的;剔除错误,根据先验深度以及靶标特征点区域在图像中设立一个重匹配范围,在此范围内重新计算其像素集合的极值,不断迭代深度误差ΔZ,直至先验特征点正确匹配。

2.根据权利要求1所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S1中,对双目相机各参数初值进行标定,建立顾及相机畸变的双目立体视觉模型,包括:S101,构建光学双目立体视觉坐标模型,光学靶标上任意特征点在图像像素坐标系OPIC‑UPICVPIC、图像物理坐标系OPHY‑XPHYYPHY、单目相机坐标系OCAM‑XCAMYCAMZCAM、世界坐标系OWOR‑XWORYWORZWOR的转换关系为:式中,uPIC,vPIC分别为特征点图像平面的横坐标与纵坐标,T为转置运算,Min为构成相机的内部参数,Mout为构成相机的外部参数,XWOR,YWOR分别为世界坐标系中特征点在ZWOR=0平面下的横坐标与纵坐标,fx,fy分别为相机在uPIC,vPIC方向上的归一化焦距,(up,vp)为像主点投影到成像平面上的像素坐标;rij,ti分别为相机旋转矩阵R和平移向量T矩阵中各参数值,其中,ij=1,2,3;

S102,水下拍摄作业时顾及镜头畸变对目标三维坐标的影响,将畸变类型分为径向畸变模型和切向畸变模型;综合畸变模型和坐标转换模型,进行畸变矫正;获得畸变矫正后的特征点在左右相机中的图像坐标(uleft,vleft),(uright,vright);

S103,对左右目摄像头进行实时标定来获取内外参数初值,标定完成的两个摄像头不存在旋转关系,定义左相机坐标系为Ol‑XleftYleftZleft,右相机坐标系为Ol‑XrightYrightZright,基线长度为b,设相机坐标系的原点与世界坐标系原点重合,则对于世界中任意一点P(XWOR,YWOR,ZWOR)在图像上的坐标Pl(xleft,yleft),Pr(xright,yright)满足以下关系:同名点在左右相机图像平面上的横坐标视差d=xleft‑xright,代入投影公式得:根据视差关系式求得世界坐标系中某一点的深度

据此确定特征点的深度信息;

在水下定位中,采用畸变矫正后的图像坐标(uleft,vleft),公式如下:式中,f为双目相机的焦距。

3.根据权利要求2所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S102中,径向畸变模型和切向畸变模型的表达分别为:式中,Radial为径向畸变,Tangential为切向畸变,Δσrd,Δμrd分别为在x方向和y方向上产生的径向畸变,Δσtd,Δμtd分别为在x方向和y方向上产生的切向畸变,kn为n阶畸变系2

数,uPIC,vPIC分别为特征点图像平面的横坐标与纵坐标,p1,p2分别为切向畸变系数;r,r …

2n

r 是相机主光轴中心点与图像上特征点之间距离的不同阶参数;r为相机主光轴中心点与图像上特征点之间的距离, 其中,n为畸变阶数,(up,vp)为像主点投影到成像平面上的像素坐标。

4.根据权利要求3所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S102中,畸变矫正的表达式为:式中,fx,fy分别为相机在uPIC,vPIC方向上的归一化焦距,XWOR,YWOR,ZWOR分别为特征点在世界坐标系下的横坐标、纵坐标以及深度坐标;

畸变矫正后的特征点在左右相机中的图像坐标(uleft,vleft),(uright,vright)为:式中,(uleft,vleft),(uright,vright)分别为特征点在左右相机图像中的横坐标与纵坐标。

5.根据权利要求1所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S2中,构建水下先验光学靶标的图像数据集,通过特征变换识别提取潜在特征点,利用拟合函数对图像去噪提升特征点质量,包括:S201,利用水下双目照片检测先验光学靶标提供的特征点,将高斯函数与原始图像Ipic(x,y)卷积,通过改变尺度参数 的值生成一系列不同尺度图像;

Lpic(x,y,σG)=Gpic(x,y,σG)×Ipic(x,y)其中,Gpic(x,y,σG)为高斯函数及其三个自变量,σG为尺度参数,x,y分别为尺度空间的横纵坐标;Ipic(xy)为原始图像空间,Gpic(x,y,σG)为尺度可变高斯函数,Lpic(x,y,σG)为高斯处理后的一组图像;

S202,将尺度变换后图像组合构成一个多层高斯金字塔空间,对图片中的每个像素点同邻域像素进行比较,判定是否为特征点;拟合三维二次函数对错误匹配特征点进行精确化,将空间尺度函数Dpic(x)泰勒展开如下:式中,Dpic为零阶泰勒展开式,T为转置运算, 为一阶泰勒展开式,为二阶泰勒展开式, 为函数本身的转置;

在已经检测到的潜在特征点中,存在噪声引起的错误提取,去掉对比度的点,对上式求导,并令其为0,得到精确位置 带入

Dpic(x)的泰勒展开式中取前两项得:

式中,为拟合函数求出来的一个特征点的精确位置, 为Dpic函数的逆,角标‑1为矩阵逆运算, 为二阶偏导数, 为一阶偏导数, 为Dpic(x)函数在极值点处的函数值;

计算特征点处的2×2Hessian矩阵,偏导矩阵如下:

式中,Dxx,Dxy,Dyx,Dyy由采样特征点计算得到,根据Hessian矩阵特征值计算去除边缘响应点,H指代Hessian矩阵。

6.根据权利要求5所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S201中,通过改变尺度参数 的值生成一系列不同尺度图像,表达式为:Lpic(x,y,σG)=Gpic(x,y,σG)×Ipic(x,y)式中,Ipic(x,y)为原始图像空间,Gpic(x,y,σG)为尺度可变高斯函数,Lpic(x,y,σG)为高斯处理后的一组图像。

7.根据权利要求1所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S4中,将待测靶标投影位置同靶标先验投影位置联合建立重投影误差函数,以光学靶标产生的共线关系作为多靶标几何约束条件,迭代优化双目立体视觉模型参数直至重投影误差满足精度要求,包括:S401,将三个及以上具备先验位置信息的光学靶标共线排列并布设在水下,构成三点共线条件对特征点匹配约束;共线靶标特征点的先验坐标为:A=(XA,YA,ZA),B=(XB,YB,ZB),C=(XC,YC,ZC)式中,A,B,C分别代表三个光学靶标,(XA,YA,ZA)、(XB、YB、ZB)、(XC,YC,ZC)分别为A,B,C三个光学靶标的世界坐标;

映射在图像中的坐标为:

a=(Xa,Ya),b=(Xb,Yb),c=(Xc,Yc)式中,a,b,c分别代表三个光学靶标在相机中的映射,(Xa,Ya)、(Xb,Yb)、(Xc,Yc)为三个光学靶标的图像坐标;

根据三个点构成的三个方向计算靶标共线向量

和 以及在图像上的向量

S402,计算向量的方向余弦来判断共线关系,令 方向余弦为(l1,m1,n1), 方向余弦为(l2,m2,n2),其中:计算方

向一致性度量Direct=|l1l2+m1m2+n1n2|,Dircet≈1认为匹配正确,图像中的匹配的特征点a,b,c与外界先验的A,B,C有着相同的共线关系;若Dircet远小于1,为错误匹配,将区域内错误特征点重新匹配;

S403,重匹配后的精确特征点进行精度验证,固定N≥3个光学靶标,特征点在图像坐标T T系的二维坐标xi=(xi,yi) 和在世界坐标系下的三维坐标Xi=(Xi,Yi,Zi),以双目中的左目坐标系为准,投影变换关系为:式中,Xi、Yi、Zi为光学靶标已知的世界坐标,c为角标, 为已知光学靶标的相机坐标,R为外参旋转矩阵,t为外参平移向量, 为投影转换后的二维坐标,Min为相机内参矩阵;

将上述两步合并为如下表示特征点在相机内的投影转换关系的公式,并写为:S404,根据实际检测先验的图像平面二维坐标xi与投影得到的二维坐标 建立重投影误差函数,定义向量为:式中,ei为误差向量,xi为已知光学靶标的图像坐标;

使用欧几里得距离来衡量误差,则总的重投影误差函数E构建为所有特征点重投影误差平方和:式中,E(K,R,t)为误差函数,Min[R|‑Rt]为已知靶标特征点投影转换后的二维坐标;

S405,根据水下机器人实时求解的位姿估计 和 作为约束条件来使外部参数差异限制在厘米级范围内,与重投影误差函数联立。

8.根据权利要求7所述的光学靶标先验约束的水下双目定位方法,其特征在于,在步骤S405中,与重投影误差函数联立的表达式为:式中,R,t为相机的实时位姿, 为相机的位姿估计,‖x‖f为Frobenius范数,为旋转矩阵约束条件, 为平移向量约束条件,ε1,ε2是预先设定的旋转矩阵差异阈值,式中, 为误差函数, 为投影转换后的二维坐标。

9.一种光学靶标先验约束的水下双目定位系统,其特征在于,该系统实施权利要求1‑8任意一项所述的光学靶标先验约束的水下双目定位方法,该系统包括:双目立体视觉模型建立模块(1),用于对双目相机各参数初值进行标定,建立顾及相机畸变的双目立体视觉模型;

潜在特征点提取模块(2),用于构建水下先验光学靶标的图像数据集,通过特征变换识别提取潜在特征点,利用拟合函数对图像去噪提升特征点质量;

错误匹配剔除模块(3),用于对水下先验光学靶标的图像数据集中的去噪图像进行特征点匹配,利用光学靶标点的先验位置信息作为深度约束条件进行验证,剔除匹配特征点中位置偏差过大的错误匹配;

重投影误差函数建立模块(4),用于将待测靶标投影位置同靶标先验投影位置联合建立重投影误差函数,以光学靶标产生的共线关系作为多靶标几何约束条件,迭代优化双目立体视觉模型参数直至重投影误差满足精度要求。