利索能及
我要发布
收藏
专利号: 2024109247592
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于空间超分辨率的三维图像重建系统,其特征在于,包括:辐射流形生成模块、特征超分辨模块、跳跃超分辨模块和图像重建模块;

所述辐射流形生成模块用于对输入空间坐标点进行映射和渲染,得到低分辨率特征图、深度图和低分辨率图像;

所述特征超分辨模块用于基于所述低分辨率特征图和所述深度图进行调制和特征超分辨率处理,得到高分辨率图像;

所述跳跃超分辨模块用于对所述低分辨率图像进行处理,得到超分辨率图像;

所述图像重建模块基于真实图像、所述高分辨率图像和所述超分辨率图像得到最终图像;

所述辐射流形生成模块包括:流形面预测单元、辐射生成单元、映射单元和第一流形渲染单元;

所述流形面预测单元利用轻量级多层感知器对所述输入空间坐标点进行预测,得到若干不同级别的等值流形面,再通过每条计算观察光线与所述等值流形面的交点,得到采样点坐标集;

所述辐射生成单元用于对所述采样点坐标集中的每个采样点进行处理,得到每个所述采样点的颜色、体积密度和中间流形特征图;

所述映射单元用于将所述中间流形特征图投影到常规平面网格,得到所述低分辨率特征图;

所述第一流形渲染单元用于对所述采样点进行渲染,生成所述深度图和所述低分辨率图像;

所述跳跃超分辨模块包括:第一超分单元、第二超分单元和逐像素整合单元;

所述第一超分单元通过卷积层和PixelShuffle层对所述低分辨率图像进行处理,得到第一超分图像;

所述第二超分单元通过辅助特征块对所述低分辨率图像进行处理,得到第二超分图像;

所述逐像素整合单元用于将所述第一超分图像和所述第二超分图像进行整合,得到所述超分辨率图像。

2.根据权利要求1所述一种基于空间超分辨率的三维图像重建系统,其特征在于,所述特征超分辨模块包括:深度调制单元、特征超分辨率单元、融合上采样单元和第二流形渲染单元;

所述深度调制单元用于将所述深度图作为几何信息调制到所述低分辨率特征图中,得到调制后特征图;

所述特征超分辨率单元用于基于所述深度图和所述调制后特征图进行上采样,得到高分辨率辐射图;

所述融合上采样单元用于基于所述深度图得到条件信息,并提取所述低分辨率特征图的特征,然后将所述条件信息和所述特征融合至所述调制后特征图中,得到融合后低分辨率特征图;

所述融合上采样单元还用于将所述融合低分辨率特征图上采样到所述高分辨率辐射图,得到高分辨率辐射特征;

所述第二流形渲染单元用于基于所述高分辨率辐射特征得到所述高分辨率图像。

3.根据权利要求1所述一种基于空间超分辨率的三维图像重建系统,其特征在于,所述图像重建模块包括:渐进式鉴别器单元、辨别对抗优化单元和一致性优化单元;

所述渐进式鉴别器单元用于基于所述真实图像和所述高分辨率图像得到所述最终图像;

所述辨别对抗优化单元通过所述真实图像和所述超分辨率图像对所述渐进式鉴别器单元进行对抗训练,以提高所述最终图像的质量;

所述一致性优化单元利用损失函数来最小化所述真实图像和所述超分辨率图像之间的距离,以及最小化所述超分辨率图像和所述高分辨率图像之间的均方误差,以保证所述最终图像与输入图像中的内容的一致性。

4.一种基于空间超分辨率的三维图像重建方法,所述重建方法应用于权利要求1‑3任一项所述的重建系统,其特征在于,包括以下步骤:S1.对输入空间坐标点进行映射和渲染,得到低分辨率特征图、深度图和低分辨率图像;

S2.基于所述低分辨率特征图和所述深度图进行调制和特征超分辨率处理,得到高分辨率图像;

S3.对所述低分辨率图像进行处理,得到超分辨率图像;

S4.基于真实图像、所述高分辨率图像和所述超分辨率图像得到最终图像;

所述S1包括:

利用轻量级多层感知器对所述输入空间坐标点进行预测,得到若干不同级别的等值流形面,再通过每条计算观察光线与所述等值流形面的交点,得到采样点坐标集;

对所述采样点坐标集中的每个采样点进行处理,得到每个所述采样点的颜色、体积密度和中间流形特征图;

将所述中间流形特征图投影到常规平面网格,得到所述低分辨率特征图;

对所述采样点进行渲染,生成所述深度图和所述低分辨率图像;

所述S3包括:

通过卷积层和PixelShuffle层对所述低分辨率图像进行处理,得到第一超分图像;

辅助特征块对所述低分辨率图像进行处理,得到第二超分图像;

将所述第一超分图像和所述第二超分图像进行整合,得到所述超分辨率图像。

5.根据权利要求4所述一种基于空间超分辨率的三维图像重建方法,其特征在于,所述S2包括:将所述深度图作为几何信息调制到所述低分辨率特征图中,得到调制后特征图;

基于所述深度图和所述调制后特征图进行上采样,得到高分辨率辐射图;

基于所述深度图得到条件信息,并提取所述低分辨率特征图的特征,然后将所述条件信息和所述特征融合至所述调制后特征图中,得到融合后低分辨率特征图;

将所述融合低分辨率特征图上采样到所述高分辨率辐射图,得到高分辨率辐射特征;

基于所述高分辨率辐射特征得到所述高分辨率图像。

6.根据权利要求4所述一种基于空间超分辨率的三维图像重建方法,其特征在于,所述S4包括:利用渐进式鉴别器,基于所述真实图像和所述高分辨率图像得到所述最终图像;

通过所述真实图像和所述超分辨率图像对所述渐进式鉴别器进行对抗训练,以提高所述最终图像的质量;

利用损失函数来最小化所述真实图像和所述超分辨率图像之间的距离,以及最小化所述超分辨率图像和所述高分辨率图像之间的均方误差,以保证所述最终图像与输入图像中的内容的一致性。