利索能及
我要发布
收藏
专利号: 2019108055467
申请人: 南京泛在地理信息产业研究院有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法,其特征在于,包括以下步骤:步骤1:单目场景深度重建:

利用深度传感器或双目视觉的方法获取场景深度图,将获得的场景深度图进行配准,转化到摄像机坐标系,作为单目深度恢复模型的训练集;利用上述训练集对单目深度恢复网络进行迁移学习,得到适合于该场景的单目深度恢复模型;利用单目深度恢复模型直接获得当前帧的场景深度图;

步骤2:精细手势提取:

2.1)、手势检测与定位:对当前帧进行手势检测与定位得到手势检测框;

2.2)、粗略手势掩模生成:用混合高斯模型提取前景,然后初始化一张与当前帧相同分辨率的RGBA图像作为手势掩模,将手势掩模中每个像素的RGB值设为当前帧对应元素的RGB值,将位于前景区域和手势检测边框范围内的像素Alpha值设置为1,其他像素的Alpha值设为0,获得粗略手势掩模;

2.3)、精细手势掩模生成:用种子算法检测粗略手势掩模中手势检测框范围内Alpha值为0的像素连通域,计算每一个连通域的像素个数,如果像素个数小于阈值,则该连通域为噪声,把该连通域的所有像素Alpha值设为1;通过该方法去除小面积噪声,得到精细手势掩模;

步骤3:3D模型渲染:

3.1)、采用基于标识物模板的摄像机跟踪方法,对当前视频帧与标识物图像进行特征提取与匹配,求出当前帧对应的摄像机姿态信息,即当前摄像机坐标系到三维世界坐标系的旋转矩阵和平移矩阵;

3.2)、首先绘制当前帧作为窗口背景,然后根据摄像机内参,和3.1)中获得的旋转矩阵和平移矩阵,将3D模型变换到屏幕空间,并绘制到窗口背景上,同时获取并保存深度图作为模型深度图;

步骤4:遮挡判断及手势再绘制:

4.1)、遮挡判断:以手势掩模中Alpha值为1的像素坐标采样模型深度图和场景深度图,分别获得模型深度和手势深度,若手势深度<场景深度,则认为该位置手势对虚拟3D模型产生了遮挡,保持手势掩模中对应像素的Alpha值为1,否则设置Alpha值为0;

4.2)、手势再绘制:对于手势掩模Alpha值为1的像素,用其RGB值覆盖窗口背景值,对于Alpha值为0的像素,依然保留窗口背景值。

2.根据权利要求1所述的一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法,其特征在于,所述步骤(1)中的场景深度图获取;是从单个摄像机拍摄的图像直接恢复场景深度。

3.根据权利要求1所述的一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法,其特征在于,所述步骤(3)中模型深度图通过读取三维渲染引擎的深度缓冲区获得。

4.根据权利要求1所述的一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法,其特征在于,所述3D模型嵌入场景包括两次视频绘制过程和一次3D模型渲染过程,其绘制顺序是:首先绘制视频作为背景,然后渲染3D模型到背景,最后在手势遮挡3D模型的部分重新绘制该部分视频。

5.根据权利要求1所述的一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法,其特征在于,所述步骤(4.2)使用的手势掩模中,所有Alpha值为1的像素组成了因手势遮挡3D模型需要重新绘制的部分。