利索能及
我要发布
收藏
专利号: 2018114870253
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络技术的增强现实图像上色方法,其特征在于,包括如下步骤:步骤1:使用视频采集设备采集实时1920×1080的视频,风景、室内;

步骤2:使用视频识别软件对视频中标识物进行扫描数字化,提取标识物相应的顶点坐标;

步骤3:通过增强现实的程序识别标识物,初次确定三维虚拟模型的顶点坐标;

步骤4:标识物和三维虚拟模型进行位置匹配,判断位置是否有误差;

步骤5:根据标识物位置再次调整三维虚拟模型的位置,直到误差精确到0.001;

步骤6:将该三维虚拟模型匹配到预训练模型库,若模型库中存在该模型,则直接调用,否则将直接上色,可以实现快速上色的要求;

步骤7:使用轮廓法将三维虚拟模型与视频背景融合,确定三维模型与视频背景同步,以达到实时上色的目的;

步骤8:使用轮廓法将三维虚拟模型与视频背景融合,确定三维模型与视频背景同步,以达到实时上色的目的。

2.如权利要求1所述的基于生成对抗网络技术的增强现实图像上色方法,其特征在于,步骤6所述的匹配预训练上色模型库的实现方法,包括如下的步骤:(1)在OpenGL中输入需要上色的三维虚拟模型顶点坐标;

(2)将三维虚拟模型即顶点坐标放到三维场景核实的位置;

(3)设置摄像头的角度和视角,选取多个位置,对应调整摄像头视角得到清晰的画面;

(4)设置光照位置、颜色;光照位置有两种,一种是离场景无限远的方向光源,认为方向光源所发出的光投射到物体表面是平行的,即太阳光,另一种是物体附近的光源,即台灯光源的颜色使用GL_AMBIENT、GL_DIFFUSE、GL_SPECULAR;

(5)设置设置三维虚拟模型的颜色参数,采用RGB色彩模式,有16777216种像素颜色,标准范围是0.0-1.0;

(6)将上色后的三维虚拟模型输入生成对抗网络模型,通过生成对抗网络中生成网络与判别网络分别生成的图像对抗,最终得出最为逼真的三维虚拟模型;

(7)将通过判别网络的三维虚拟模型存储至预训练模型库,以备调用,加快上色速度。

3.如权利要求2所述的基于生成对抗网络技术的增强现实图像上色方法,其特征在于,步骤(6)所述的将上色后的模型输入生成对抗网络模型的实现方法,包括如下步骤:(1)首先输入上色后的三维模型,为原图,用作参考;

(2)存储至判别网络模型库,并提取出上色模型的颜色参数,采用RGB色彩模式,有

16777216种像素颜色,标准范围是0.0-1.0;

(3)生成网络与判别网络分别生成的图像每对抗一次,则输出单个三维虚拟模型;

(4)生成对抗网络会自动计算出生成的单个三维虚拟模型与原图之间颜色参数的相似值;

(5)比较该相似值,如果大于等于预设的阈值,则判定生成上色的三维模型接近真实的模型;相似值如果小于预设的阈值,则判定生成网络上色的三维模型非真实的模型;

(6)输出通过判别网络的三维虚拟模型,存入模型库。

4.如权利要求1所述的基于生成对抗网络技术的增强现实图像上色方法,其特征在于,步骤7所述的虚拟物体与视频流背景融合的方法,包括如下步骤:a)使用增强现实软件识别程序识别出视频中背景物体轮廓;

b)使用增强现实软件检测提取视频中背景物体位置坐标;

c)以该位置坐标为参考点将三维虚拟模型叠加显示在视频中背景物体上,只要增强现实软件识别出背景,便可以调整运动,实时绘出三维虚拟模型。