1.一种图像生成方法,包括:
根据针对场景的神经辐射场所输出的场景数据,生成所述场景的三维场景模型;
根据目标对象的三维对象模型和所述三维场景模型,生成包含所述三维对象模型的三维场景信息;
根据所述场景数据和目标视角,确定所述三维场景信息中所述三维对象模型的环境光信息;以及根据所述场景数据、所述环境光信息和所述三维场景信息进行图像渲染,生成针对所述目标视角的目标图像,其中,所述目标图像包括所述目标对象和所述场景;
其中,所述根据所述场景数据和目标视角,确定所述三维场景信息中所述三维对象模型的环境光信息包括:基于所述三维场景信息和所述目标视角,采用光线追踪法确定所述三维场景模型中与所述三维对象模型的第一表面顶点对应的第二表面顶点;以及基于所述第二表面顶点的光照值,确定所述第一表面顶点的环境光信息。
2.根据权利要求1所述的方法,其中,所述场景数据包括所述三维场景模型中多个表面顶点各自的颜色数据;所述根据所述场景数据和目标视角,确定所述三维场景信息中所述三维对象模型的环境光信息还包括:根据所述三维场景模型,确定所述第二表面顶点的法向量;以及根据所述第二表面顶点的法向量和所述第二表面顶点的颜色数据,确定所述第二表面顶点的光照值。
3.根据权利要求1所述的方法,还包括通过以下方式来根据所述场景的多个场景图像,构建针对所述场景的神经辐射场:根据所述多个场景图像,确定针对所述多个场景图像中每个场景图像的相机位姿信息;以及根据所述多个场景图像和针对所述多个场景图像的多个相机位姿信息,构建针对所述场景的神经辐射场。
4.根据权利要求3所述的方法,其中,所述根据所述多个场景图像,确定针对所述多个场景图像中每个场景图像的相机位姿信息包括:采用深度特征提取算法提取所述每个场景图像的特征图;以及根据所述多个场景图像中在采集顺序上相邻的两个场景图像的两个特征图之间的映射关系,确定针对所述每个场景图像的相机位姿信息。
5.根据权利要求3所述的方法,其中,所述根据所述多个场景图像和针对所述多个场景图像的多个相机位姿信息,构建针对所述场景的神经辐射场包括:针对所述每个场景图像,根据针对所述每个场景图像的相机位姿信息对所述每个场景图像进行采样,得到针对所述每个场景图像的一组三维采样点;以及以针对所述多个场景图像的多组三维采样点的坐标值和多个相机位姿信息作为训练数据训练初始神经辐射场,得到针对所述场景的神经辐射场。
6.根据权利要求5所述的方法,其中,所述以针对所述多个场景图像的所述多组三维采样点和多个所述相机位姿信息作为训练数据训练初始神经辐射场,得到针对所述场景的神经辐射场包括:以所述多组三维采样点和所述多个相机位姿信息作为训练数据,采用基于多分辨率哈希编码的即时神经图形基元技术对所述初始神经辐射场进行训练,得到针对所述场景的神经辐射场。
7.根据权利要求3所述的方法,其中,所述多个场景图像中针对在采集顺序上相邻的两个场景图像的两个视野之间的重合率大于等于重合率下限值,且小于等于重合率上限值。
8.根据权利要求2所述的方法,其中:
所述根据针对场景的神经辐射场所输出的场景数据,生成所述场景的三维场景模型包括:根据所述场景数据,采用等值面提取算法生成所述场景的三维场景模型;其中,所述三维场景模型由多个多边形网格拼接形成;
所述根据所述三维场景模型,确定所述第二表面顶点的法向量包括:确定所述多个多边形网格中以所述第二表面顶点为顶点的目标网格;以及根据所述目标网格的法向量,确定所述第二表面顶点的法向量。
9.根据权利要求1所述的方法,其中,所述根据目标对象的三维对象模型和所述三维场景模型,生成包含所述三维对象模型的三维场景信息包括:采用预定变换矩阵对所述三维对象模型进行模型变换,得到变换后模型;以及将所述变换后模型叠加至所述三维场景模型中,得到所述三维场景信息。
10.一种图像生成装置,包括:
模型生成模块,用于根据针对场景的神经辐射场所输出的场景数据,生成所述场景的三维场景模型;
场景生成模块,用于根据目标对象的三维对象模型和所述三维场景模型,生成包含所述三维对象模型的三维场景信息;
环境光确定模块,用于根据所述场景数据和目标视角,确定所述三维场景信息中所述三维对象模型的环境光信息;以及图像生成模块,用于根据所述场景数据、所述环境光信息和所述三维场景信息进行图像渲染,生成针对所述目标视角的目标图像,其中,所述目标图像包括所述目标对象和所述场景;
其中,所述环境光确定模块包括:
顶点确定子模块,用于基于所述三维场景信息和所述目标视角,采用光线追踪法确定所述三维场景模型中与所述三维对象模型的第一表面顶点对应的第二表面顶点;以及环境光确定子模块,用于基于所述第二表面顶点的光照值,确定所述第一表面顶点的环境光信息。
11.根据权利要求10所述的装置,其中,所述场景数据包括所述三维场景模型中多个表面顶点各自的颜色数据;所述环境光确定模块还包括:法向量确定子模块,用于根据所述三维场景模型,确定所述第二表面顶点的法向量;以及所述环境光确定子模块还用于根据所述第二表面顶点的法向量和所述第二表面顶点的颜色数据,确定所述第二表面顶点的光照值。
12.根据权利要求10所述的装置,还包括辐射场构建模块,用于根据所述场景的多个场景图像,构建针对所述场景的神经辐射场;所述辐射场构建模块包括:位姿确定子模块,用于根据所述多个场景图像,确定针对所述多个场景图像中每个场景图像的相机位姿信息;以及辐射场构建子模块,用于根据所述多个场景图像和针对所述多个场景图像的多个相机位姿信息,构建针对所述场景的神经辐射场。
13.根据权利要求12所述的装置,其中,所述位姿确定子模块包括:特征提取单元,用于采用深度特征提取算法提取所述每个场景图像的特征图;以及位姿确定单元,用于根据所述多个场景图像中在采集顺序上相邻的两个场景图像的两个特征图之间的映射关系,确定针对所述每个场景图像的相机位姿信息。
14.根据权利要求12所述的装置,其中,所述辐射场构建子模块包括:采样单元,用于针对所述每个场景图像,根据针对所述每个场景图像的相机位姿信息对所述每个场景图像进行采样,得到针对所述每个场景图像的一组三维采样点;以及训练单元,用于以针对所述多个场景图像的多组三维采样点的坐标值和多个相机位姿信息作为训练数据训练初始神经辐射场,得到针对所述场景的神经辐射场。
15.根据权利要求14所述的装置,其中,所述训练单元用于:以所述多组三维采样点和所述多个相机位姿信息作为训练数据,采用基于多分辨率哈希编码的即时神经图形基元技术对所述初始神经辐射场进行训练,得到针对所述场景的神经辐射场。
16.根据权利要求12所述的装置,其中,所述多个场景图像中针对在采集顺序上相邻的两个场景图像的两个视野之间的重合率大于等于重合率下限值,且小于等于重合率上限值。
17.根据权利要求11所述的装置,其中:
所述模型生成模块用于:根据所述场景数据,采用等值面提取算法生成针对所述场景的三维场景模型;其中,所述三维场景模型由多个多边形网格拼接形成;
所述法向量确定子模块包括:
目标网格确定单元,用于确定所述多个多边形网格中以所述第二表面顶点为顶点的目标网格;以及法向量确定单元,用于根据所述目标网格的法向量,确定所述第二表面顶点的法向量。
18.根据权利要求10所述的装置,其中,所述场景生成模块包括:变换子模块,用于采用预定变换矩阵对所述三维对象模型进行模型变换,得到变换后模型;以及模型叠加子模块,用于将所述变换后模型叠加至所述三维场景模型中,得到所述三维场景信息。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~9中任一项所述的方法。