利索能及
我要发布
收藏
专利号: 2022107742187
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多机多目标动态定位方法,其特征在于:需要依靠多机多目标定位系统实施,多机多目标系统包括无人机集群、地面站、通信网络,每架无人机搭载飞行控制器、机载计算机、机载摄像头、无线数传模块和RTK定位模块,地面站包括运行定位解算软件的PC、RTK基站和组网通信模块;其中无人机集群:至少三架无人机;

机载摄像头:安装在无人机上,摄像头角度竖直向下,用于无人机飞行时,观测相关目标区域,并将图像实时传输给机载计算机;

飞行控制器:安装在无人机上,用于实时获取无人机姿态和位置信息并控制无人机进行飞行;

机载计算机:安装在无人机上,用于实时对摄像头采集的图像进行目标检测,并利用飞行控制器获取的信息以及相机参数进行数据处理;

无线数传模块:安装在无人机上,用于无人机与地面站进行数据和指令传输;

RTK定位模块:安装在无人机上,用于实时获取无人机自身高精度的定位信息;

通信网络:建立地面站与无人机集群的通信;

所述多机多目标动态定位方法包括如下步骤:

步骤一,采集目标的数据集,并利用深度学习目标检测网络进行训练,直至网络收敛;

步骤二,多架无人机对相关目标区域进行集群飞行,同时机载计算机通过机载摄像头实时获取相关区域的地面图像;

步骤三,机载计算机利用训练好的深度学习目标检测网络对机载摄像头获取的相关区域地面图像进行实时的目标检测;

步骤四,将检测出的每个图像目标中心点的图像位置坐标与无人机的相机内外参数、无人机姿态信息结合起来,通过坐标转换关系计算出载机NED坐标系下每个图像目标中心点与无人机之间的视线向量;

步骤五,将检测出的每个图像目标中心点的图像位置坐标,利用无人机自身坐标和姿态信息进行图像目标中心点匹配;地面站根据每架无人机的位置姿态以及图像目标中心点的像素坐标信息,根据数据信息的时间戳,依次对同一时间所有无人机机载摄像头中的所有图像目标中心点进行图像目标中心点匹配;

首先由对极几何约束(Epipolar Geometry Constraint),计算出第j架无人机的机载摄像头到第i架无人机的机载摄像头之间的基础矩阵Fij:其中,Ki、Kj分别为第i、j架无人机机载摄像头的内参,

Rij、Tij分别为第j架无人机机载摄像头坐标系变换到第i架无人机机载摄像头坐标系的旋转矩阵和平移矩阵;

由对极几何约束方程,代入第i,j架无人机摄像头上的第m,n图像目标中心点像素坐标eim(uim,vim),ejn(ujn,vjn),则得到表达式如下:T

ejnFijeim=0

设lin、ljm分别为第j架无人机机载摄像头中的图像目标中心点n在第i架无人机机载摄像头中的极线、第i架无人机机载摄像头中的图像目标中心点m在第j架无人机机载摄像头中的极线,则:lin的直线方程系数:

T T

(Lin1,Lin2,Lin3) =Fij(ujn,vjn,1)则第i架无人机机载摄像头中的图像目标中心点m到极线lin的距离d为:若d小于阈值,则认为第i架无人机机载摄像头中的图像目标中心点m是第j架无人机机载摄像头中的图像目标中心点n的匹配点;

根据图像目标中心点与极线的距离方程,利用逐点匹配法,对同一时间所有无人机机载摄像头中的所有图像目标中心点两两之间进行筛选计算,该图像目标中心点满足图像目标中心点与极线的距离方程即可认为是该图像目标中心点为本无人机机载摄像头中的图像目标中心点在另一无人机机载摄像头中的相应匹配点;

再利用筛选结果将本无人机机载摄像头中的图像目标中心点和另一无人机机载摄像头的相应匹配点相互进行图像目标中心点与极线的距离方程匹配,若两个图像目标中心点互为其匹配点,则可认为两个无人机摄像头中的图像目标中心点对应同一个目标,完成图像目标中心点匹配步骤六,利用无人机自身大地坐标系下的坐标信息对每个目标的视线向量数据进行联立求解,计算出每个目标在大地坐标系下的坐标信息。

2.根据权利要求1所述的一种多机多目标动态定位方法,其特征在于:所述步骤三具体包括:无人机进行目标检测与定位时,每个目标应同时至少有两架无人机同时检测到,首先,机载计算机获取机载摄像头拍摄的实时地面图像,并利用训练好的深度学习目标检测网络来检测无人机航拍的地面图像中的所有目标,并输出检测结果;当无人机的机载摄像头检测到目标的同时,在图像中标注出每个目标的边界框,将每个目标边界框的中心设定为图像目标中心点;同时,机载计算机获取每个图像目标中心点所在无人机航拍图像坐标系下的像素坐标以及此时的无人机在大地坐标系下的位置与姿态信息。

3.根据权利要求1所述的一种多机多目标动态定位方法,其特征在于:所述步骤四具体包括:当无人机进行多目标定位时,每架无人机将同时检测输出多个图像目标中心点,将其中第i架无人机获取的第m个图像目标中心点的图像坐标系下的像素坐标eim(uim,vim),结合无人机机载摄像头的内外参数,其中第i架无人机摄像头的内部参数包括相机的焦距fxi,fyi、相机的光心坐标(u0i,v0i),第i架无人机机载摄像头的外部参数包括无人机机体坐标系到相机坐标系的旋转矩阵Ri和平移矩阵Ti,则通过以下像素坐标系到无人机机体坐标系转换公式可求得无人机机体坐标系下第i架无人机与第m个图像目标中心点之间的视线向量T(Xbim,Ybim,Zbim) :

Zcim为第i架无人机机载摄像头与第m个图像目标中心点相对应的目标之间的深度值,T为方便视线向量(Xbim,Ybim,Zbim) 的求取,故将其值设为1;则无人机机体坐标系下第i架无T人机与第m个图像目标中心点之间的视线向量(Xbim,Ybim,Zbim) 为:结合无人机自身姿态信息,从而可将视线向量在载机NED坐标系下表示为:其中机体坐标系到载机NED坐标系的变换矩阵为旋转变换, 为旋转矩阵:

其中, θi、ψi分别为第i架无人机的横滚角、俯仰角和偏航角。

4.根据权利要求1所述的一种多机多目标动态定位方法,其特征在于:所述步骤六具体包括:当同一时间所有的图像目标中心点完成图像目标中心点匹配后,每一个图像目标中心点都对应一个视线向量,将每个目标图像目标中心点对应的视线向量进行联立求解:将匹配成功对应同一个目标的第I架无人机与第M个像点对应的视线向量(XnIM,YnIM,T TZnIM) 和第J架无人机与第N个像点对应的视线向量(XnJN,YnJN,ZnJN)分别投影到水平面与垂直平面内;

T T

设pIM为视线向量(XnIM,YnIM,ZnIM) 的方位角,qIM为视线向量(XnIM,YnIM,ZnIM) 的下倾角;

T T

pJN为视线向量(XnJN,YnJN,ZnJN) 的方位角,qJN为视线向量(XnJN,YnJN,ZnJN) 的下倾角,则:设第I架、第J架无人机的大地坐标系下的坐标分别为(xI,yI,zI)、(xJ,yJ,zJ),目标的大地坐标系下的坐标为(X1,Y1,Z1),则可得以下方程:则对方程(1)联立,可求得X1,Y1;对方程(2)联立,可求得Z1;即可计算出大地坐标系下该目标的坐标:(X1,Y1,Z1);

对其他匹配成功的图像目标中心点对应的视线向量进行上述运算,可同时得出多个目标在大地坐标系下的坐标;

当同一目标同时被两架以上的无人机所检测到时,将同一时间该目标所对应的上述方程两两联立,对得到的该目标的坐标结果使用最小二乘法进行数据拟合,得到目标更准确的定位信息。