利索能及
我要发布
收藏
专利号: 2024103392268
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,包括如下步骤:步骤1,在无人机上对称设置两个单目相机,标定每个相机的内参矩阵,并对每个相机进行畸变矫正;

步骤2,利用相机的内参矩阵计算相应的外参矩阵;

步骤3,基于步骤1和2,利用两个单目相机实时获取远距离图像,对获取的图像进行标志物提取,实时获取标志物图像框在相机坐标系下的像素位置,并对提取出的标志物图像进行预处理,得到预处理后的标志物图像;

其中,利用YoloFastestV2神经网络提取标志物,在YoloFastestV2神经网络最后一个特征提取层通过SimAM引入自注意力机制,通过能量函数分配输入特征图的注意力权重,SimAM自注意力机制的最小能量函数如下:其中, 为能量值,t为输入特征的单通道目标神经元,和 分别为通道中除t以外的所有神经元的均值和方差,λ是正则化参数;

最小能量函数由以下公式得出:

其中, 是规范化后 在所有通道和空间维度的汇总,E为 的倒数,X为原始所有通道和空间维度的汇总,sigmoid函数用来映射约束过大值,⊙表示逐元素乘法;

对提取出的标志物进行图像预处理包括图像分割、阈值掩膜、中值滤波、高斯滤波、灰度转换以及图形开操作;

步骤4,对于同一帧两个单目相机经预处理后得到的标志物图像进行SIFT特征点匹配,得到匹配点像素坐标,根据匹配点像素坐标进行标志物质心点计算;

步骤5,对步骤4计算得到的质心点进行奇异值分解,结合无人机自身在世界坐标系下的位姿,计算标志物质心点的世界坐标;

步骤6,设定轨迹池内的坐标数量,将当前帧计算得到的质心点世界坐标压栈入轨迹池中,利用动态时间规整方法检测异常值,并通过局部加权回归平滑方法优化轨迹池,从而得到标志物三维坐标。

2.根据权利要求1所述的基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,所述步骤1中,相机的内参矩阵由以下公式得到:其中, 为图像坐标系到像素坐标系的内参矩阵K,(u,v)表示棋盘格标定板上目标点在像素坐标下的坐标,(x,y)表示棋盘格标定板上目标点在图像坐标系下的坐标,(cx,cy)表示图像坐标系原点在像素坐标系下的坐标,fx=1/dx表示一个像素点在一行中所占的大小,fy=1/dy为表示一个像素点在一列中所占的大小;

利用以下公式对相机进行畸变矫正:

2 2 2

其中,(x′,y′)表示畸变矫正后的像素点坐标,r为曲率半径,r =x+y,k1,k2,k3均为径向畸变矫正系数,p1,p2均为切向畸变矫正系数。

3.根据权利要求1所述的基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,所述步骤2中,相机的外参矩阵包括旋转矩阵和平移向量;其中,旋转矩阵R为:

R=Rx*Ry*Rz

其中,Rx、Ry、Rz分别表示绕x‑、y‑、z‑轴的旋转矩阵,Rz通过下式得到,同理,得到Rx和Ry:其中,(x,y,z)表示棋盘格标定板上目标点旋转前在三维空间中的坐标,(x′,y′,z′)表示棋盘格标定板上目标点旋转后在三维空间中的坐标,θ为绕z‑轴旋转的角度;

平移向量通过以下公式得到:

其中,(xc,yc,zc)表示棋盘格标定板上目标点在相机坐标系下的坐标,(xw,yw,zw)表示棋盘格标定板上目标点在世界坐标系下的坐标,T为世界坐标系到相机坐标系的平移向量。

4.根据权利要求1所述的基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,所述步骤4中,通过近邻匹配算法得到同一帧两个单目相机经预处理后得到的标志物图像的匹配点,对每个单目相机对应的标志物图像的匹配点的横、纵坐标分别求和,并利用横坐标之和除以匹配点数目,纵坐标之和除以匹配点数目,从而得到标志物质心点坐标。

5.根据权利要求1所述的基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,所述步骤5的具体过程如下:根据标志物质心点坐标,计算其深度:

其中,Z为质心点深度值,xl,xr分别为质心点在两单目相机的投影位置,ul,ur为质心点在像素坐标系的像素坐标,T′为两个单目相机的模拟基线,f为相机焦距;

质心点在以无人机为世界坐标系原点的世界坐标公式如下:

其中,(u,v)表示质心点在像素坐标下的坐标,(cx,cy)表示图像坐标系原点在像素坐标系下的坐标,fx=1/dx表示一个像素点在一行中所占的大小,fy=1/dy为表示一个像素点在一列中所占的大小,R为旋转矩阵,T为平移向量,(xbw,ybw,zbw)为质心点在以无人机为世界坐标系原点的世界坐标;

根据质心点在世界坐标下的坐标(xb,yb,zb),计算得到标志物质心点的世界坐标:其中,(xw,yw,zw)为标志物质心点的世界坐标。

6.根据权利要求1所述的基于无人机对远距离标志物快速识别与三维位置解算方法,其特征在于,所述步骤6的具体过程如下:设定轨迹池内的坐标数量为N,每个帧将轨迹池内的第一个数据压出轨迹池,并将当前帧获得的质心点世界坐标Ct=(xt,yt,zt)进行压栈处理,即将其添加到轨迹池末尾,预设新序列宽度为n,历史序列与新序列所相差帧数为m,n+m≤N,新序列为Snew={Ct‑n+1,…,Ct},历史序列为Shist={Ct‑m‑n+1,…,Ct‑m},利用动态时间规整方法计算Snew和Shist之间的距离,即:i=t‑n+1,…,t

j=t‑m‑n+1,…,t‑m

其中,DTW(Snew,Shist)表示新序列和历史序列的DTW距离,d(Ci,Cj)表示世界坐标Ci与Cj的欧几里得距离;

利用动态调整阈值τdtw判断新添加的世界坐标Ct是否为异常点,即若DTW(Snew,Shist)>τdtw,则Ct为异常点;

τdtw=μdtw+k·σdtw

其中,μdtw和σdtw分别为历史DTW距离的均值与标准差,k为调整系数;

若Ct为非异常点,则利用局部加权回归平滑方法对Ct进行平滑,从而得到标志物三维坐标:其中, 为Ct的三维位置点平滑值,wl为基于高斯核的权重,Cl为轨迹池内的世界坐标,δ为核宽度参数。

7.一种计算机设备,包括存储器、处理器,以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于无人机对远距离标志物快速识别与三维位置解算方法的步骤。

8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于无人机对远距离标志物快速识别与三维位置解算方法的步骤。