利索能及
我要发布
收藏
专利号: 2018101131427
申请人: 浙江商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种场景尺度估计方法,其特征在于,包括:

确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;

将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点;

根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述平面约束为各第二特征点与所述目标水平面的距离之和;

根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。

2.根据权利要求1所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,包括:对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。

3.根据权利要求1或2所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,还包括:在所述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始平面方程系数不变;

或者,

在所述调整过程中对所述双目相机的初始内参与所述目标水平面的初始平面方程系数中的至少一个进行调节。

4.根据权利要求2所述的方法,其特征在于,所述对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和与所述平面约束相加最小,包括:对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小,其中,所述重力约束为所述目标水平面的法线向量与重力向量之间的差值。

5.根据权利要求1所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之后,还包括:根据各所述第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程,确定各所述第二特征点的固定三维坐标。

6.根据权利要求1所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整之前,还包括:以重力方向为法线方向,将所述第一特征点分布最多的水平面作为所述目标水平面。

7.根据权利要求6所述的方法,其特征在于,所述以重力方向为法线方向,将所述第一特征点分布最多的水平面作为所述目标水平面,具体包括:以重力方向为法线方向,采用随机抽样一致性算法,将所述第一特征点分布最多的水平面作为所述目标水平面。

8.根据权利要求1所述的方法,其特征在于,确定所述第一特征点的初始三维坐标,具体包括:基于三角化原理以及所述第一特征点在所述第一图像和在所述第二图像上的投影,确定所述第一特征点的初始深度值;

根据所述第一特征点的初始深度值,确定所述第一特征点的初始三维坐标。

9.一种场景尺度估计方法,其特征在于,包括:

确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;

根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述重力约束为目标水平面的法线向量与重力向量之间的差值;

根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。

10.根据权利要求9所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,包括:对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和与所述重力约束相加最小。

11.根据权利要求9或10所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,还包括:在所述调整过程中保持所述双目相机的初始内参与所述目标水平面的初始法线向量不变;

或者,

在所述调整过程中对所述双目相机的初始内参与所述目标水平面的初始法线向量中的至少一个进行调节。

12.根据权利要求10所述的方法,其特征在于,所述对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和与所述重力约束相加最小,包括:将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点;

对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和、平面约束、以及重力约束三者相加最小,其中,所述平面约束为各第二特征点与所述目标水平面的距离之和。

13.根据权利要求9所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整之后,还包括:根据各第二特征点调整后的三维坐标和所述目标水平面的平面坐标方程,确定各所述第二特征点的固定三维坐标。

14.根据权利要求9所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整之前,还包括:以重力方向为法线方向,将所述第一特征点分布最多的水平面作为所述目标水平面。

15.根据权利要求14所述的方法,其特征在于,所述以重力方向为法线方向,将所述第一特征点分布最多的水平面作为所述目标水平面,具体包括:以重力方向为法线方向,采用随机抽样一致性算法,将所述第一特征点分布最多的水平面作为所述目标水平面。

16.根据权利要求9所述的方法,其特征在于,确定所述第一特征点的初始三维坐标,具体包括:基于三角化原理以及所述第一特征点在所述第一图像和所述第二图像上的投影,确定所述第一特征点的初始深度值;

根据所述第一特征点的初始深度值,确定所述第一特征点的初始三维坐标。

17.一种增强现实AR控制方法,其特征在于,包括:

AR引擎获取实时定位与地图构建SLAM系统的输出结果,所述输出结果包括采用权利要求1‑16任一所述的方法获得的场景的尺度;

所述AR引擎根据所述场景的尺度在所述场景中绘制虚拟物体。

18.一种场景尺度估计装置,其特征在于,包括:

第一确定模块,用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;

第二确定模块,用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点;

调整模块,用于根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述平面约束为各第二特征点与所述目标水平面的距离之和;

第三确定模块,用于根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。

19.一种场景尺度估计装置,其特征在于,包括:

第一确定模块,用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;

调整模块,用于根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述重力约束为目标水平面的法线向量与重力向量之间的差值;

第二确定模块,用于根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。

20.一种增强现实AR引擎,其特征在于,包括:

获取模块,用于获取实时定位与地图构建SLAM系统的输出结果,所述输出结果包括采用权利要求1‑16任一所述的方法获得的场景尺度;

绘制模块,用于根据所述场景尺度在所述场景中绘制虚拟物体。

21.一种电子设备,其特征在于,包括:

双目相机,用于对目标场景进行拍摄,获得所述目标场景的第一图像和第二图像;

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序,以实现如权利要求1‑16中任一项所述的场景尺度估计方法。

22.一种增强现实AR控制系统,其特征在于,包括:通信连接的电子设备、AR引擎和实时定位与地图构建SLAM系统,所述电子设备设有双目相机,所述AR引擎为如权利要求20所述的AR引擎,所述SLAM系统包括如权利要求18或19所述的场景尺度估计装置。

23.一种计算机存储介质,其特征在于,所述存储介质中存储计算机程序,所述计算机程序在执行时实现如权利要求1‑16中任一项所述的场景尺度估计方法,和/或实现如权利要求17所述的增强现实AR控制方法。