利索能及
我要发布
收藏
专利号: 2025112124395
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,包括以下步骤:获取飞机飞行过程中不同视角、不同时刻下的飞机图像以及对应的位姿信息,构建成数据集;

根据特征提取网络提取飞机图像中不同层级的特征;

将不同层级的特征输入至姿态角估计网络,估计飞机的旋转矩阵;

计算旋转损失值,根据旋转损失值对姿态角估计网络进行迭代优化,利用优化后的姿态角估计网络得到飞机的目标旋转矩阵;

利用目标旋转矩阵对飞机三维模型进行旋转,利用位置估计网络对旋转后的飞机三维模型进行位置预测;

计算位置损失值,根据损失值对位置估计网络进行迭代优化,利用优化后的位置估计网络预测飞机的位置。

2.根据权利要求1所述的基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,根据特征提取网络提取飞机图像中不同层级的特征的步骤包括:将飞机图像输入至ResNet网络中,获得由ResNet网络中不同层级输出的特征f2、特征f3、特征f4以及特征f5。

3.根据权利要求2所述的基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,将不同层级的特征输入至姿态角估计网络,估计飞机的旋转矩阵的步骤包括:将特征f2、特征f3、特征f4和特征f5输入至特征金字塔网络FPN中进行融合处理,获得边缘特征Fside;

利用展平操作将特征f3、特征f4、特征f5分别转换为二维特征表示,并沿通道第一维进行堆栈,得到主干网络特征;

将主干网络特征输入至包含编码器和解码器的特征优化Transformer模块,得到全局特征;

将全局特征输入至多层感知机中,得到第一特征;

对第一特征进行张量维度变换,使第一特征与边缘特征Fside在维度上保持一致,然后将边缘特征与第一特征进行堆栈操作,得到姿态融合特征;

将姿态融合特征输入至姿态角回归网络RotHead中,预测得到飞机的旋转矩阵R。

4.根据权利要求3所述的基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,利用位置估计网络对旋转后的飞机三维模型进行位置预测的步骤包括:飞机的三维模型由点云 进行表示,其中 表示点云中点的个数,则旋转后飞机三维模型为 ,利用多层感知机MLP对旋转后的飞机三维模型进行特征处理,然后采用爱因斯坦求和约定对处理结果进行张量维度变换,得到第二特征,使第二特征与边缘特征Fside在维度上保持一致;

将第二特征与边缘特征Fside进行堆栈操作,得到几何‑图像特征;

利用图像姿态网络PoseNet对特征f5进行特征提取,并将其输出结果与几何‑图像特征进行堆栈操作,得到位置融合特征;

将位置融合特征输入至位置回归网络TransHead中进行处理,得到表示飞机位置的平移矩阵 ,其中K为相机的内参, 是估计的深度值, 是估计的飞机三维边界框的中心点在像素坐标系中的投影位置。

5.根据权利要求1至4任一项所述的基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,计算旋转损失值的公式为:,

式中, 为由飞机真实的姿态角转化的旋转矩阵,R为姿态角回归网络RotHead预测得到飞机的旋转矩阵, 为飞机机体上的关键点在机体坐标系中的坐标,其中N表示点的个数, 表示L1损失函数。

6.根据权利要求1至4任一项所述的基于位姿解耦与动态三维模型的飞机位姿估计方法,其特征在于,计算位置损失值的公式为:,

式中, 是估计的飞机三维边界框的中心点在像素坐标系中的投影位置,是飞机三维边界框的中心点在像素坐标系中的真实投影位置,是估计的深度值, 为真实的深度值, 表示L1损失函数。