利索能及
我要发布
收藏
专利号: 2021105645667
申请人: 浙江商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视觉定位方法,其特征在于,包括:获取对预设场景拍摄到的待定位图像;

对所述待定位图像进行地标检测,得到所述待定位图像中目标地标点;其中,所述目标地标点为所述预设场景的若干地标点中的至少一个,所述若干地标点是从所述预设场景的场景地图中选择得到的,所述场景地图是对所述预设场景进行三维建模得到的,且所述若干地标点分别位于所述场景地图各个子区域的预设位置处;

基于所述目标地标点在所述待定位图像中的第一位置信息和所述目标地标点在所述场景地图中的第二位置信息,得到所述待定位图像的位姿参数。

2.根据权利要求1所述的方法,其特征在于,所述若干子区域是对所述场景地图的表面进行划分得到的;

和/或,所述预设位置包括所述子区域的中心位置;

和/或,所述各个子区域之间的面积差异低于第一阈值。

3.根据权利要求1或2所述的方法,其特征在于,所述对所述待定位图像进行地标检测,得到所述待定位图像中目标地标点,包括:利用地标检测模型处理所述待定位图像,预测得到第一地标预测图像和第一方向预测图像;

对所述第一地标预测图像和所述第一方向预测图像进行分析,得到所述目标地标点;

其中,所述第一地标预测图像包括所述待定位图像中像素点的预测地标属性,所述第一方向预测图像包括所述待定位图像中像素点的第一方向属性,所述预测地标属性用于标识所述像素点对应的地标点,所述第一方向属性包括指向地标投影的第一方向信息,所述地标投影表示所述像素点对应的地标点在所述待定位图像中的投影位置。

4.根据权利要求3所述的方法,其特征在于,所述对所述第一地标预测图像和所述第一方向预测图像进行分析,得到所述目标地标点,包括:获取具有相同所述预测地标属性的像素点所构成的候选区域;

统计所述候选区域中所述像素点的第一方向属性的一致性情况;

在所述一致性情况满足预设条件的情况下,将所述候选区域中所述像素点的预测地标属性所标识的地标点作为所述目标地标点,并基于所述候选区域中所述像素点的第一方向属性,得到所述目标地标点在所述待定位图像中的第一位置信息。

5.根据权利要求4所述的方法,其特征在于,在所述统计所述候选区域中所述像素点的第一方向属性的一致性情况之前,所述方法还包括:在所述候选区域的区域面积小于第二阈值的情况下,过滤所述候选区域。

6.根据权利要求4所述的方法,其特征在于,所述第一方向信息包括第一方向矢量;所述统计所述候选区域中所述像素点的第一方向属性的一致性情况,包括:获取所述候选区域中所述像素点之间的第一方向矢量的交点;

统计所述交点的外点率,得到所述一致性情况。

7.根据权利要求3所述的方法,其特征在于,所述地标检测模型包括特征提取网络、地标预测网络和方向预测网络;所述利用地标检测模型处理所述待定位图像,预测得到第一地标预测图像和第一方向预测图像,包括:利用所述特征提取网络对所述待定位图像进行特征提取,得到特征图像;

利用所述地标预测网络对所述特征图像进行地标预测,得到所述第一地标预测图像;

以及,

利用所述方向预测网络对所述特征图像进行方向预测,得到所述第一方向预测图像。

8.根据权利要求7所述的方法,其特征在于,所述利用所述地标预测网络对所述特征图像进行地标预测,得到所述第一地标预测图像,包括:利用所述地标预测网络对所述特征图像进行解码,得到第一特征预测图像;其中,所述第一特征预测图像包括所述待定位图像中所述像素点的第一特征表示;

基于所述像素点的第一特征表示分别与各个所述地标点的地标特征表示之间的相似度,得到所述像素点的预测地标属性;其中,所述地标特征表示是在所述地标检测模型训练收敛之后得到的;

基于所述待定位图像中各个所述像素点的预测地标属性,得到所述第一地标预测图像。

9.根据权利要求1至8任一项所述的方法,其特征在于,所述目标地标点是利用地标检测模型检测得到的,地标检测模型的训练步骤包括:分别确定所述子区域和所述地标点在样本图像的投影区域和投影位置;

基于所述投影区域和所述投影位置,确定所述样本图像中样本像素点的样本地标属性和样本方向属性;其中,所述样本地标属性用于标识所述样本像素点对应的样本地标点,且所述样本地标点为所述投影区域覆盖所述样本像素点的子区域所含的地标点,所述样本方向属性包括指向所述样本像素点对应的样本地标点的投影位置的样本方向信息;

分别基于所述样本地标属性和所述样本方向属性,得到所述样本图像的样本地标图像和样本方向图像;其中,所述样本地标图像中第一像素点标注有对应的样本像素点的样本地标属性,所述样本方向图像中第二像素点标注有对应的样本像素点的样本方向属性;

利用所述样本图像、所述样本地标图像和所述样本方向图像训练所述地标检测模型。

10.根据权利要求9所述的方法,其特征在于,所述利用所述样本图像、所述样本地标图像和所述样本方向图像训练所述地标检测模型,包括:利用所述地标检测模型对所述样本图像进行预测,得到所述样本图像的第二特征预测图像和第二方向预测图像;其中,所述第二特征预测图像包括所述样本像素点的第二特征表示,所述第二方向预测图像包括所述样本像素点的第二方向属性,所述第二方向属性包括指向样本地标投影的第二方向信息,且所述样本地标投影表示所述样本地标点在所述样本图像中的投影位置;

基于所述样本地标图像和所述第二特征预测图像,得到第一损失,并利用所述样本方向图像和所述第二方向预测图像之间的差异,得到第二损失;

基于所述第一损失、所述第二损失,优化所述地标检测模型的网络参数。

11.根据权利要求10所述的方法,其特征在于,所述基于所述样本地标图像和所述第二特征预测图像,得到第一损失,包括:获取具有相同所述样本地标属性的样本像素点所构成的图像区域,并获取各个所述地标点的待优化特征表示;

对于所述图像区域中所述样本像素点,将所述样本地标属性所标识的样本地标点的待优化特征表示作为所述样本像素点的正例特征表示,并选择一个参考特征表示作为所述样本像素点的负例特征表示,以及基于所述第二特征表示与所述正例特征表示之间的第一相似度和所述第二特征表示与所述负例特征表示之间的第二相似度,得到子损失;其中,所述参考特征表示包括除所述正例特征表示之外的待优化特征表示;

基于所述样本图像中所述样本像素点的子损失,得到所述第一损失。

12.根据权利要求11所述的方法,其特征在于,所述选择一个参考特征表示作为所述样本像素点的负例特征表示,包括:

统计所述图像区域中样本像素点的第二特征表示的平均特征表示;

基于所述平均特征表示分别与各个所述参考特征表示之间的相似度,选择若干所述参考特征表示作为所述图像区域的候选特征表示;

在所述候选特征表示中均匀采样,得到所述样本像素点的负例特征表示。

13.根据权利要求10所述的方法,其特征在于,所述基于所述第一损失、所述第二损失,优化所述地标检测模型的网络参数,包括:基于所述第一损失和所述第二损失,优化各个所述地标点的待优化特征表示和所述地标检测模型的网络参数。

14.一种视觉定位装置,其特征在于,包括:信息获取模块,用于获取对预设场景拍摄到的待定位图像;

地标检测模块,用于对所述待定位图像进行地标检测,得到所述待定位图像中目标地标点;其中,所述目标地标点为所述预设场景的若干地标点中的至少一个,所述若干地标点是从所述预设场景的场景地图中选择得到的,所述场景地图是对所述预设场景进行三维建模得到的,且所述若干地标点分别位于所述场景地图各个子区域的预设位置处;

位姿确定模块,用于基于所述目标地标点在所述待定位图像中的第一位置信息和所述目标地标点在所述场景地图中的第二位置信息,得到所述待定位图像的位姿参数。

15.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至13任一项所述的视觉定位方法。

16.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至13任一项所述的视觉定位方法。