利索能及
我要发布
收藏
专利号: 2023116873702
申请人: 中南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种增强现实光照估计方法,其特征在于,所述增强现实光照估计方法包括:获取包含有限视场图像和真实场景的低动态范围全景图的数据集;

构建包含生成器和鉴别器的生成对抗网络,并将单张有限视场图像输入至所述生成对抗网络,得到中间特征变量;

通过所述生成对抗网络预先生成离散数值,并计算所述中间特征变量与所述离散数值之间距离最近的离散特征;

基于所述离散特征,采用所述生成器得到生成的低动态范围全景图,并将所述生成的低动态范围全景图和所述真实场景的低动态范围全景图输入至所述鉴别器进行对抗训练,得到最优低动态范围全景图;

将所述最优低动态范围全景图输入至正曝光生成器和负曝光生成器中,得到第一正曝光图像和第一负曝光图像,将所述第一正曝光图像和第一负曝光图像输入至所述正曝光生成器和所述负曝光生成器中进行多次循环,得到多张正曝光图像和多张负曝光图像;

将所述最优低动态范围全景图、多张所述正曝光图像和多张所述负曝光图像进行融合,得到融合图像;

将所述融合图像输入至三维卷积神经网络中,得到重建的高动态范围全景图,并从所述重建的高动态范围全景图中得到光照信息。

2.根据权利要求1所述增强现实光照估计方法,其特征在于,所述构建包含生成器和鉴别器的生成对抗网络,并将单张有限视场图像输入至所述生成对抗网络,得到中间特征变量,包括:构建包含编码器的生成器,并根据所述生成器和鉴别器构建生成对抗网络;

将所述单张有限视场图像输入至所述生成对抗网络,通过所述编码器进行编码,得到中间特征变量。

3.根据权利要求2所述增强现实光照估计方法,其特征在于,所述生成器还构建了码本,所述通过所述生成对抗网络预先生成离散数值,并计算所述中间特征变量与所述离散数值之间距离最近的离散特征,包括:采用所述生成对抗网络中的所述码本预先生成离散数值;

将所述中间特征变量中的每一个编码位置在所述离散数值中寻找距离最近的离散特征。

4.根据权利要求3所述增强现实光照估计方法,其特征在于,所述生成器还构建了解码器,所述基于所述离散特征,采用所述生成器得到生成的低动态范围全景图,并将所述生成的低动态范围全景图和所述真实场景的低动态范围全景图输入至所述鉴别器进行对抗训练,得到最优低动态范围全景图,包括:基于所述离散特征,采用所述生成器中的所述解码器进行解码,得到生成的低动态范围全景图;

对所述编码器、所述码本和所述解码器进行训练,以使所述生成的低动态范围全景图更接近所述真实场景的低动态范围全景图;

将所述生成的低动态范围全景图和所述真实场景的低动态范围全景图输入至所述鉴别器,得到所述生成的低动态范围全景图和所述真实场景的低动态范围全景图对应的概率值;

根据所述生成的低动态范围全景图和所述真实场景的低动态范围全景图对应的概率值构建对抗损失函数,并采用所述对抗损失函数对所述鉴别器和所述生成器进行对抗训练,得到最优低动态范围全景图。

5.根据权利要求1所述增强现实光照估计方法,其特征在于,通过如下方式得到多张正曝光图像和多张负曝光图像:,

其中, 表示正曝光生成器第一次生成的第一正曝光图像, 表示正曝光生成器,表示最优低动态范围全景图, 表示正曝光生成器第二次生成的第二正曝光图像, 表示正曝光生成器第三次生成的第三正曝光图像, 表示负曝光生成器第一次生成的第一负曝光图像, 表示负曝光生成器, 表示负曝光生成器第二次生成的第二负曝光图像, 表示负曝光生成器第三次生成的第三负曝光图像。

6.根据权利要求5所述增强现实光照估计方法,其特征在于,通过如下方式将所述最优低动态范围全景图、多张所述正曝光图像和多张所述负曝光图像进行融合:,

其中,表示融合图像, 表示拼接。

7.根据权利要求1或5或6所述增强现实光照估计方法,其特征在于,所述将所述融合图像输入至三维卷积神经网络中,得到重建的高动态范围全景图,包括:构建同时训练所述三维卷积神经网络、所述正曝光生成器和所述负曝光生成器的训练损失函数;

将所述融合图像输入至三维卷积神经网络中,采用所述训练损失函数进行训练,得到重建的高动态范围全景图。

8.一种增强现实光照估计系统,其特征在于,所述增强现实光照估计系统包括:数据获取单元,用于获取包含有限视场图像和真实场景的低动态范围全景图的数据集;

网络构建单元,用于构建包含生成器和鉴别器的生成对抗网络,并将单张有限视场图像输入至所述生成对抗网络,得到中间特征变量;

矢量计算单元,用于通过所述生成对抗网络预先生成离散数值,并计算所述中间特征变量与所述离散数值之间距离最近的离散特征;

对抗训练单元,用于基于所述离散特征,采用所述生成器得到生成的低动态范围全景图,并将所述生成的低动态范围全景图和所述真实场景的低动态范围全景图输入至所述鉴别器进行对抗训练,得到最优低动态范围全景图;

图像生成单元,用于将所述最优低动态范围全景图输入至正曝光生成器和负曝光生成器中,得到第一正曝光图像和第一负曝光图像,将所述第一正曝光图像和第一负曝光图像输入至所述正曝光生成器和所述负曝光生成器中进行多次循环,得到多张正曝光图像和多张负曝光图像;

图像融合单元,用于将所述最优低动态范围全景图、多张所述正曝光图像和多张所述负曝光图像进行融合,得到融合图像;

光照估计单元,用于将所述融合图像输入至三维卷积神经网络中,得到重建的高动态范围全景图,并从所述重建的高动态范围全景图中得到光照信息。

9.一种增强现实光照估计设备,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的增强现实光照估计方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的增强现实光照估计方法。