利索能及
我要发布
收藏
专利号: 2025109939206
申请人: 宁波大学科学技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,包括以下步骤:获取低分辨率全向图像并通过插值方法上采样得到引导图像;

构建纬度感知图并与图像特征融合后输入纬度感知网络,提取多尺度图像感知特征;

使用图像编码器分别对高分辨率图像和上采样引导图像进行编码,得到原始潜在表示与引导潜在表示,计算所述原始潜在表示与引导潜在表示差值得到潜在残差表示;

根据设定的扩散调度函数与马尔可夫转移规则,将原始潜在表示与残差表示叠加并加入高斯噪声,构建多阶段的潜在扩散序列;

从最终扩散表示出发,依赖去噪神经网络进行反向迭代采样,恢复原始潜在表示;

将重建后的潜在表示输入解码器解码为高分辨率图像;

通过联合损失函数对模型进行训练优化,所述损失函数包括潜在重建损失、图像重建损失和感知损失。

2.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述构建纬度感知图包括:对输入图像的垂直坐标构建余弦函数加权图,用于表达纬度扭曲信息;

将纬度图作为权重图与图像特征在通道维度拼接输入纬度感知网络;

纬度感知网络提取图像的结构与几何特征,用于辅助潜在表示重建;

其中纬度图中第 位置的权重为:

其中: 表示图像中第 列第 行像素的纬度加权值; 表示图像的高度,单位为像素;表示图像的横向坐标索引;表示图像的纵向坐标索引;为圆周率常数。

3.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述原始潜在表示与潜在残差的获取包括:使用编码器对真实高分辨率图像 编码,得到表示 ;

对上采样图像 编码得到引导表示 ;

与 的残差表示为:

其中: 表示高分辨率图像在潜在空间中的编码表示,为原始潜在表示; 表示上采样图像在潜在空间中的编码表示,为引导潜在表示; 表示二者之间的潜在残差特征图,为潜在残差表示。

4.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述构建多阶段的潜在扩散序列包括:设定扩散步数 、最小扩散强度 、最大扩散强度 、调度指数 ;

构建扩散强度调度函数:

在第 步生成潜在表示:

其中: 为第 步的扩散强度; 为扩散强度的最小值; 为扩散强度的最大值;

为扩散调度的指数控制因子;为总扩散步数;为当前扩散步索引,取值范围为 ;

为高斯噪声缩放系数; 为零均值单位方差的高斯随机噪声张量; 为原始目标潜在表示; 为前一阶段构造的潜在残差; 表示与调度因子绑定的标准差放缩项。

5.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述马尔可夫转移规则定义为:;

其中: 表示潜在扩散的转移概率密度函数; 表示上一扩散步的潜在表示;

表示上采样图像在潜在空间中的编码表示; 表示潜在残差特征图;

表示相邻步扩散强度的增量; 表示第 步的扩散强度; 表示第 步的扩散强度;

表示该步的协方差矩阵;为与潜在表示维度相同的单位矩阵; 表示均值为 、协方差为 的高斯分布对随机变量 的概率密度函数。

6.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述反向迭代采样过程包括:在每一步由去噪网络预测下一个潜在状态的均值与协方差,所述预测形式为:;

其中: 表示用于采样的均值向量; 表示用于采样的协方差矩阵; 表示第 步的扩散强度; 表示第 步的扩散强度; 表示相邻扩散步的强度增量; 表示第 步的潜在扩散表示; 表示引导潜在表示;为噪声缩放系数;为单位协方差矩阵;

为具有参数 的去噪神经网络函数,用于估计噪声残差; 为原始低分辨率全向图像;为与图像空间对应的纬度加权图;表示当前扩散步索引。

7.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述去噪神经网络包括:输入包含当前扩散潜在表示 、引导潜在表示 、低分辨率图像 、纬度图 、当前步数;

网络包含时间调制模块与像素感知控制模块,后者的特征增强表示为:;

其中: 表示最终融合后的输出特征图; 表示控制流分支的中间特征图; 表示上下文特征与控制特征拼接后的融合特征图; 表示具有零初始化权重的卷积操作; 表示对应元素逐位乘法操作。

8.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述解码器包括:输入为反向采样后的潜在表示 ;

包括由多层反卷积结构构成的解码模块,将潜在表示恢复为图像空间表示;

输出为重建后的高分辨率图像 。

9.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述损失函数包括:潜在空间重建损失:

图像空间重建损失:

感知损失:

其中: 表示L2范数,即欧式距离; 表示预测潜在表示的去噪神经网络;

表示在潜在空间中的去噪重建损失;为扩散总步数; 表示高分辨率图像在潜在空间的原始表示; 表示扩散到第 步的潜在表示; 表示由双线性插值图像编码得到的引导潜在表示; 为原始低分辨率全向图像; 为与图像空间对应的纬度加权图;表示当前扩散步索引; 表示像素空间的均方误差损失; 表示真实的高分辨率图像; 表示通过解码器生成的重建图像; 表示感知损失,用于衡量图像在深层特征空间中的差异; 表示预训练图像感知网络提取的图像深层特征表示。

10.根据权利要求9所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述损失函数的总损失函数定义为:;

其中: 表示用于像素感知控制块输出的一致性约束损失; 表示用于整体模型训练的联合损失函数; 表示潜在空间的重建损失; 表示图像空间的像素重建误差损失; 表示基于图像深层特征差异的感知损失; 为各损失项的加权系数。