利索能及
我要发布
收藏
专利号: 2021109030055
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种定位方法,包括:

获取待定位区域的2D图片和已建好的3D地图;

从所述2D图片中提取出2D关键点位置和2D描述子;

从所述3D地图中提取出3D关键点位置和3D描述子;

将所述2D关键点位置、所述2D描述子、所述3D关键点位置和所述3D描述子输入预先训练的特征匹配网络,得到至少一组2D‑3D匹配对;

根据至少一组2D‑3D匹配对求得位姿。

2.根据权利要求1所述的方法,其中,所述将所述2D关键点位置、所述2D描述子、所述3D关键点位置和所述3D描述子输入预先训练的特征匹配网络,包括:将所述2D关键点位置编码后与2D描述子组成2D特征;

将所述3D关键点位置编码后与所述3D描述子组成3D特征;

将所述2D特征和所述3D特征输入预先训练的特征匹配网络。

3.根据权利要求1所述的方法,其中,所述从所述2D图片中提取出2D关键点位置和2D描述子,包括:

通过尺度不变特征变换算法从所述2D图片中提取出2D关键点位置和2D描述子。

4.根据权利要求1所述的方法,其中,所述从所述3D地图中提取出3D关键点位置和3D描述子,包括:

通过尺度不变特征变换算法从所述3D地图中提取出3D关键点位置和3D描述子。

5.根据权利要求1‑4任一项所述的方法,其中,所述特征匹配网络包括图神经网络和匹配层,所述图神经网络包括自注意力层和交叉注意力层。

6.根据权利要求1‑4任一项所述的方法,其中,所述根据至少一组2D‑3D匹配对求得位姿,包括:

通过求解3D到2D点对运动的方法根据至少一组2D‑3D匹配对求得位姿。

7.一种训练特征匹配网络的方法,包括:获取图像集合作为样本集,并将位姿信息作为所采集的图像的标注信息;

根据所述图像集合构建3D地图;

执行如下训练步骤:从所述样本集中选取样本;基于所述样本和所述3D地图通过特征匹配网络执行权利要求1‑6中任一项所述的定位方法,得到定位结果;基于所述定位结果和标注信息计算总损失值;若总损失值小于预定阈值,则确定出所述特征匹配网络训练完成。

8.根据权利要求7所述的方法,其中,所述方法还包括:若总损失值大于等于预定阈值,则调整所述特征匹配网络的相关参数,基于调整后的所述特征匹配网络继续执行上述训练步骤。

9.一种定位装置,包括:

获取单元,被配置成获取待定位区域的2D图片和已建好的3D地图;

第一提取单元,被配置成从所述2D图片中提取出2D关键点位置和2D描述子;

第二提取单元,被配置成从所述3D地图中提取出3D关键点位置和3D描述子;

匹配单元,被配置成将所述2D关键点位置、所述2D描述子、所述3D关键点位置和所述3D描述子输入预先训练的特征匹配网络,得到至少一组2D‑3D匹配对;

定位单元,被配置成根据至少一组2D‑3D匹配对求得位姿。

10.根据权利要求9所述的装置,其中,所述匹配单元进一步被配置成:将所述2D关键点位置编码后与2D描述子组成2D特征;

将所述3D关键点位置编码后与所述3D描述子组成3D特征;

将所述2D特征和所述3D特征输入预先训练的特征匹配网络。

11.根据权利要求9所述的装置,其中,所述第一提取单元进一步被配置成:通过尺度不变特征变换算法从所述2D图片中提取出2D关键点位置和2D描述子。

12.根据权利要求9所述的装置,其中,所述第二提取单元进一步被配置成:通过尺度不变特征变换算法从所述3D地图中提取出3D关键点位置和3D描述子。

13.根据权利要求9‑12任一项所述的装置,其中,所述特征匹配网络包括图神经网络和匹配层,所述图神经网络包括自注意力层和交叉注意力层。

14.根据权利要求9‑12任一项所述的装置,其中,所述定位单元进一步被配置成:通过求解3D到2D点对运动的方法根据至少一组2D‑3D匹配对求得位姿。

15.一种训练特征匹配网络的装置,包括:获取单元,被配置成获取图像集合作为样本集,并将位姿信息作为所采集的图像的标注信息;

建图单元,被配置成根据所述图像集合构建3D地图;

训练单元,被配置成执行如下训练步骤:从所述样本集中选取样本;基于所述样本和所述3D地图通过特征匹配网络执行权利要求1‑6中任一项所述的定位方法,得到定位结果;基于所述定位结果和标注信息计算总损失值;若总损失值小于预定阈值,则确定出所述特征匹配网络训练完成。

16.根据权利要求15所述的装置,其中,所述训练单元进一步被配置成:若总损失值大于等于预定阈值,则调整所述特征匹配网络的相关参数,基于调整后的所述特征匹配网络继续执行上述训练步骤。

17.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑8中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑8中任一项所述的方法。