利索能及
我要发布
收藏
专利号: 2022105809784
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种增强现实显示系统,其特征在于,包括设置在拍摄区域内的滑轨(1)、相机(2)、图像处理装置和三维场景显示装置(3);

所述图像处理装置设置在所述拍摄区域的中心,所述滑轨(1)设置在所述图像处理装置的一侧,所述三维场景显示装置(3)设置在所述图像处理装置的另一侧;所述相机(2)滑动连接在所述滑轨(1)上,且所述相机(2)的镜头朝向于所述图像处理装置设置,所述相机(2)与所述图像处理装置线路连接;

所述相机(2),用于获取光场数据;

所述图像处理装置,用于对所述光场数据进行图像预处理,得到光场图像;

对所述光场图像进行像素点提取,得到多个光场多视角图像;

分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,并通过多个所述增强后图像得到目标视频,并将所述目标视频投射至所述三维场景显示装置(3)上;

所述相机(2),还用于对投射后的目标视频进行采集,得到多个待渲染图像;

所述图像处理装置,还用于分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像,并将所有的目标图像作为增强现实显示的结果;

所述图像处理装置中,分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像的过程包括:基于NeRF网络分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,具体为:所述NeRF网络包括第一全连接层和多个第二全连接层,并将多个所述第二全连接层作为全连接块;

通过所述全连接块分别对各个所述光场多视角图像进行第一次特征分类,得到与各个所述光场多视角图像对应的3D坐标;

通过所述第一全连接层分别对各个所述3D坐标进行第二次特征分类,得到与各个所述光场多视角图像对应的颜色数据以及与各个所述光场多视角图像对应的密度数据;

利用体渲染算法分别对各个所述颜色数据以及与各个所述光场多视角图像对应的密度数据进行颜色混合,得到与各个所述光场多视角图像对应的增强后图像。

2.根据权利要求1所述的增强现实显示系统,其特征在于,所述图像处理装置包括处理器、显示器(4)和半透半反镜(5),所述显示器(4)设置在所述拍摄区域的中心,所述处理器设置在所述显示器(4)内部,所述半透半反镜(5)的一端与所述显示器(4)的一端活动连接,以使所述半透半反镜(5)与所述显示器(4)形成夹角,所述滑轨(1)设置在所述显示器(4)的一侧,所述三维场景显示装置(3)设置在所述显示器(4)的另一侧,所述相机(2)的镜头朝向于所述显示器(4)设置,所述处理器分别与所述显示器(4)和所述相机(2)线路连接;

所述处理器,用于对所述光场数据进行图像预处理,得到光场图像;

对所述光场图像进行像素点提取,得到多个光场多视角图像;

分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,并通过多个所述增强后图像得到目标视频;

所述显示器(4),用于对所述目标视频进行显示,并将显示的目标视频通过所述半透半反镜(5)投射至所述三维场景显示装置(3)上;

所述相机(2),还用于对投射后的目标视频进行采集,得到多个待渲染图像;

所述处理器,还用于分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像,并将所有的目标图像作为增强现实显示的结果。

3.根据权利要求1所述的增强现实显示系统,其特征在于,所述图像处理装置中,对所述光场数据进行图像预处理,得到光场图像的过程包括:利用TENet网络对所述光场数据进行图像预处理,得到光场图像,具体为:对所述光场数据进行去马赛克,得到原始光场图像;

对所述原始光场图像进行去噪处理,得到去噪后光场图像;

对所述去噪后光场图像进行超分辨率处理,得到光场图像。

4.根据权利要求1所述的增强现实显示系统,其特征在于,所述图像处理装置中,对所述光场图像进行像素点提取,得到多个光场多视角图像的过程包括:利用非周期性提取算法对所述光场图像进行像素点提取,得到多个光场多视角图像。

5.根据权利要求1或3所述的增强现实显示系统,其特征在于,所述图像处理装置中,分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像的过程包括:基于渲染神经网络分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像。

6.一种增强现实显示方法,其特征在于,包括:

通过相机(2)获取光场数据;

对所述光场数据进行图像预处理,得到光场图像;

对所述光场图像进行像素点提取,得到多个光场多视角图像;

分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,并通过多个所述增强后图像得到目标视频,并将所述目标视频投射至三维场景显示装置(3)上;

通过所述相机(2)采集投射后的目标视频,得到多个待渲染图像;

分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像,并将所有的目标图像作为增强现实显示的结果;

所述分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像的过程包括:基于NeRF网络分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,具体为:所述NeRF网络包括第一全连接层和多个第二全连接层,并将多个所述第二全连接层作为全连接块;

通过所述全连接块分别对各个所述光场多视角图像进行第一次特征分类,得到与各个所述光场多视角图像对应的3D坐标;

通过所述第一全连接层分别对各个所述3D坐标进行第二次特征分类,得到与各个所述光场多视角图像对应的颜色数据以及与各个所述光场多视角图像对应的密度数据;

利用体渲染算法分别对各个所述颜色数据以及与各个所述光场多视角图像对应的密度数据进行颜色混合,得到与各个所述光场多视角图像对应的增强后图像。

7.根据权利要求6所述的增强现实显示方法,其特征在于,对所述光场数据进行图像预处理,得到光场图像;

对所述光场图像进行像素点提取,得到多个光场多视角图像;

分别对各个所述光场多视角图像进行图像增强,得到与各个所述光场多视角图像对应的增强后图像,并通过多个所述增强后图像得到目标视频;

对所述目标视频进行显示,并将显示的目标视频通过半透半反镜(5)投射至所述三维场景显示装置(3)上;

对投射后的目标视频进行采集,得到多个待渲染图像;

分别对各个所述待渲染图像进行图像渲染,得到与各个所述待渲染图像对应的目标图像,并将所有的目标图像作为增强现实显示的结果。

8.一种增强现实显示系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,实现如权利要求6至7任一项所述的增强现实显示方法。

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求6至7任一项所述的增强现实显示方法。