1.一种针对低纹理区域精确表示的场景表达方法,其特征在于,包括如下步骤:获取待识别场景区域中相机的相机参数,目标视图图像坐标和初始深度;
将获取的数据,输入至训练好的超像素引导场景表示网络进行场景表达,得到合成的场景目标视图;
所述超像素引导场景表示网络包括场景表示网络和超像素正则化模块,在场景表示网络的像素生成器前,设置超像素正则化模块,将整个场景分割成多个局部区域,然后利用平滑损失函数,优化局部区域的场景表示,计算正则化值作为网络的一项损失函数,与场景表示网络的平衡二维图像监督损失 以及像素损失 构建总损失函数,训练超像素引导场景表示网络;
所述超像素引导场景表示网络训练方法,包括如下步骤:
构建训练数据集,数据集数据包括场景真实图像,以及场景真实图像的每个目标视图对应的相机参数、视图图像坐标和初始深度;
获取训练数据集中的相机参数,以及目标视图图像坐标和初始深度,通过相机矩阵转换为三维世界坐标 ;
将转换后的三维世界坐标 ,输入至场景表示函数 得到场景表示向量 ;
将得到的场景表示向量 输入到可微光线推进模块进行迭代,并更新三维世界坐标,按照设定次数n的迭代后得到最终场景表示向量 ;所述可微光线推进模块采用光线推进长短期记忆网络,以场景表示向量和上次循环隐藏状态作为输入,经过网络运算得到新的隐藏状态并作为光线推进距离δ,上一循环的深度值di‑1与光线推进距离δ相加则得到更新的深度值d;
最终场景表示向量 输入至像素生成器解码得到目标视图 ;
利用场景表示向量 、真实图像 以及由真实图像生成的超像素掩膜 ,得到正则化值,作为一项损失函数,计算总损失函数值;
根据计算的总损失函数值,进行反向传播,不断迭代更新网络权重,最终达到最终的精确表达,得到训练好的超像素引导场景表示网络。
2.如权利要求1所述的一种针对低纹理区域精确表示的场景表达方法,其特征在于:所述相机参数包括相机位置与姿态数据。
3.如权利要求1所述的一种针对低纹理区域精确表示的场景表达方法,其特征在于:场景表示网络为SRNs网络、NeRF网络或者LFN网络。
4.如权利要求1所述的一种针对低纹理区域精确表示的场景表达方法,其特征在于:场景表示函数具体为:通过多层神经网络拟合得到。
5.如权利要求1所述的一种针对低纹理区域精确表示的场景表达方法,其特征在于:给定目标视图的相机参数包括相机内参和相机姿态;
或者,总损失函数值为的平衡二维图像监督损失 、像素损失 以及超像素正则化模块的平滑约束损失函数 的加权和。
6.一种针对低纹理区域精确表示的场景表达系统,其特征在于,包括:数据获取模块:被配置为用于获取待识别场景区域中相机的相机参数、目标视图图像坐标和初始深度;
场景表达模块:被配置为用于将获取的数据,输入至训练好的超像素引导场景表示网络进行场景表达,得到合成的场景目标视图;
所述超像素引导场景表示网络包括场景表示网络和超像素正则化模块,在场景表示网络的像素生成器前,设置超像素正则化模块,将整个场景分割成多个局部区域,然后利用平滑损失函数,优化局部区域的场景表示,计算正则化值作为网络的一项损失函数,与场景表示网络的平衡二维图像监督损失 以及像素损失 构建总损失函数,训练超像素引导场景表示网络;
所述超像素引导场景表示网络训练方法,包括如下步骤:
构建训练数据集,数据集数据包括场景真实图像,以及场景真实图像的每个目标视图对应的相机参数、视图图像坐标和初始深度;
获取训练数据集中的相机参数,以及目标视图图像坐标和初始深度,通过相机矩阵转换为三维世界坐标 ;
将转换后的三维世界坐标 ,输入至场景表示函数 得到场景表示向量 ;
将得到的场景表示向量 输入到可微光线推进模块进行迭代,并更新三维世界坐标,按照设定次数n的迭代后得到最终场景表示向量 ;所述可微光线推进模块采用光线推进长短期记忆网络,以场景表示向量和上次循环隐藏状态作为输入,经过网络运算得到新的隐藏状态并作为光线推进距离δ,上一循环的深度值di‑1与光线推进距离δ相加则得到更新的深度值d;
最终场景表示向量 输入至像素生成器解码得到目标视图 ;
利用场景表示向量 、真实图像 以及由真实图像生成的超像素掩膜 ,得到正则化值,作为一项损失函数,计算总损失函数值;
根据计算的总损失函数值,进行反向传播,不断迭代更新网络权重,最终达到最终的精确表达,得到训练好的超像素引导场景表示网络。
7.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑5任一项方法所述的步骤。
8.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑5任一项方法所述的步骤。