利索能及
我要发布
收藏
专利号: 2018112166595
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种大场景下的AR家居体验方法,其特征在于,首先使用双目摄像机拍摄所有拟选家居物品的标识图,通过离线训练完成家居物品标识图的特征提取,生成各类家居物品标识图对应的离线特征库,所述双目摄像机指的是两个处于同一大场景下、相对设置的摄像机;然后对双目摄像机采集到的包含拟选家居物品标识图的视频帧图像通过采用自然特征标识技术进行识别和三维注册,完成三维虚拟物体的选定并确定摄像机的初始位姿;最后采用双目追踪定位与局部地图构建技术追踪摄像机在自然环境中的位姿变化,完成拟选家居物品在大环境下的扩展追踪定位。

2.权利要求1所述的一种大场景下的AR家居体验方法,其特征在于,具体包括以下步骤:步骤1:生成离线特征库

步骤1.1:对双目摄像机进行标定获得摄像机内参数K和外参数M,通过双目摄像机采集所有拟选家居物品的标识图;

步骤1.2:通过离线训练完成家居物品标识图的特征提取;

步骤1.3:计算BRISK描述符对应的采样点灰度值 完成特征描述,生成家居物品的离线特征库;

步骤2:自然特征标识图的三维注册

步骤2.1:对摄像机拍摄的包含标识图的视频帧图像进行标识图灰度化处理,选用BRISK算法完成特征提取;

步骤2.2:利用BRISK+FLANN结合算法完成视频帧图像与标识图的特征点匹配;

步骤2.3:剔除步骤2.2中产生的误匹配,若匹配失败,返回摄像头重新采集视频帧图像;

步骤2.4:计算摄像机拍摄到的包含标识图的视频帧图像与标识图之间的单应性矩阵;

步骤2.5:利用RANSAC算法建立当前视频帧图像关键点与标识图关键点间单应性关系,实现细化匹配;

步骤2.6:通过单应性矩阵计算出标识图四个角点在视频帧图像中的坐标,设定四个角点在归一化世界坐标系中的坐标,结合图像坐标系下坐标,利用2D-3D对应关系来估计摄像机的姿态;

步骤2.7:将摄像机的内参数矩阵和外参数矩阵转换为OpenGL格式,加载3D模型并更新模型位姿;

步骤2.8:将步骤2.7位姿更新后的模型与双目摄像机拍摄到的包含标识图的视频帧图像合并渲染到屏幕,完成现实家居场景与拟选的家居物品三维模型的初始三维注册;

步骤3:采用双目追踪定位与局部地图构建技术追踪摄像机在自然环境中的位姿变化步骤3.1:使用双目摄像机同步采集家居场景的视觉图像;

步骤3.2:对双目摄像机进行参数标定;

步骤3.3:对步骤1采集的视觉图像进行校正;

步骤3.4:完成世界坐标下的两个摄像机R1和R2校正后视觉图像特征点提取;

步骤3.5:对步骤3.4两个摄像机R1和R2所拍摄视觉图像进行特征点搜索、特征点匹配和筛选特征点的双目立体匹配,对拟选物品的标识图进行识别和三维注册,完成三维虚拟物体的选定和确定初始位姿;

步骤3.6:在去除标识图的情况下,通过PnP方法估计摄像机的位姿,完成摄像机当前帧特征点与家居环境地图中关键帧的特征点匹配;

步骤3.7:步骤3.6求得的摄像机位姿因噪声影响存在误差,使用非线性优化算法优化摄像机位姿,进一步完成虚拟家居模型在大环境下的扩展追踪定位,实现了大环境下稳定的AR家居体验。

3.权利要求2所述的一种大场景下的AR家居体验方法,其特征在于,步骤2.3剔除误匹配的方法为:使用K最近邻匹配搜索算法结合比率测试技术删除离群值,设某个点集I={i1,i2,i3,...,in}与另一个点集J={j1,j2,...,jn},如果查找J点集中一个特征点在I点集中的最近邻元素,则满足:NN(j,I)=argminx∈Id(j,x)   (6)

其中d(j,x)表示J点集中的j点与I点集中的所有特征点的距离,则KNN可以表示如下:KNN(j,I,K)=M   (7)

其中M满足如下约束:

在进行匹配时,将K=2,即对查找帧中的每个特征点ik,在被查找的特征点集中使用KNN查找最近邻点jk1与次近邻点jk2,比较ik,jk之间的距离dk1与ik、jk2之间的距离dk2,如果dk1远小于dk2,判定ik与jk1是匹配点对;如果dk1与dk2距离相近,判定jk1与jk2都不是正确的匹配点;

在匹配方法中设置参数γ=dk1/dk2,设置γ=0.5,如果γ<0.5则认为是匹配成功。

4.权利要求2所述的一种大场景下的AR家居体验方法,其特征在于,步骤2.4的单应性矩阵为:

x=λKMXw=λK[R/T]Xw   (10)

其中,K表示摄像机的内部参数矩阵,M表示摄像机的外部参数矩阵,一般使用相似变换[R/T],R是描述照相机方向的旋转矩阵,T是描述摄像机中心位置的三维平移向量,将单应性矩阵进行分解以求解旋转矩阵R和平移向量T。

5.权利要求4所述的一种大场景下的AR家居体验方法,其特征在于,步骤3.6通过PnP方法估计摄像机的位姿,完成当前帧特征点与家居环境地图中关键帧的特征点匹配方法为:步骤3.6.1:计算投影点

分为两种情况来计算投影点:初始化或者重定位时通过前后两帧的特征点匹配来计算投影点;追踪时通过假设相机运动模型是恒速模型通过投影的方式找到当前帧的投影点;

步骤3.6.2:使用PnP方法估计摄像机位姿

通过三角化获得视频帧图像中多个特征点对应的3D空间位置Pw=(Xw,Yw,Zw),通过特征点匹配获得这些特征点的在当前帧的投影位置p=(u,v),利用公式可以估计摄像机的位姿;

位姿信息由平移矢量T和旋转矩阵R确定,fx,fy,cx,cy均是摄像机内参数,由摄像头本身的性质确定;其中,fx,fy为焦距,cx,cy为相对于成像平面的主点坐标;通常选取世界坐标下的四个控制点坐标为Cw=[0,0,0,1]T,[1,0,0,1]T,[0,1,0,1]T,[0,0,1,1]T,通过n个3D点在相机平面的投影关系,以及与这四个控制点的权重关系,构建一个12*12方阵,求得其零空间特征向量,得到虚拟控制点的相机平面坐标,使用POSIT算法即可求出摄像机位姿。