1.基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,包括以下步骤:获取低分辨率全向图像并通过插值方法上采样得到引导图像;
构建纬度感知图并与图像特征融合后输入纬度感知网络,提取多尺度图像感知特征;
使用图像编码器分别对高分辨率图像和上采样引导图像进行编码,得到原始潜在表示与引导潜在表示,计算所述原始潜在表示与引导潜在表示差值得到潜在残差表示;
根据设定的扩散调度函数与马尔可夫转移规则,将原始潜在表示与残差表示叠加并加入高斯噪声,构建多阶段的潜在扩散序列;
从最终扩散表示出发,依赖去噪神经网络进行反向迭代采样,恢复原始潜在表示;
将重建后的潜在表示输入解码器解码为高分辨率图像;
通过联合损失函数对模型进行训练优化,所述损失函数包括潜在重建损失、图像重建损失和感知损失。
2.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述构建纬度感知图包括:对输入图像的垂直坐标构建余弦函数加权图,用于表达纬度扭曲信息;
将纬度图作为权重图与图像特征在通道维度拼接输入纬度感知网络;
纬度感知网络提取图像的结构与几何特征,用于辅助潜在表示重建;
其中纬度图中第 位置的权重为:
;
其中: 表示图像中第 列第 行像素的纬度加权值; 表示图像的高度,单位为像素;表示图像的横向坐标索引;表示图像的纵向坐标索引;为圆周率常数。
3.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述原始潜在表示与潜在残差的获取包括:使用编码器对真实高分辨率图像 编码,得到表示 ;
对上采样图像 编码得到引导表示 ;
与 的残差表示为:
;
其中: 表示高分辨率图像在潜在空间中的编码表示,为原始潜在表示; 表示上采样图像在潜在空间中的编码表示,为引导潜在表示; 表示二者之间的潜在残差特征图,为潜在残差表示。
4.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述构建多阶段的潜在扩散序列包括:设定扩散步数 、最小扩散强度 、最大扩散强度 、调度指数 ;
构建扩散强度调度函数:
;
在第 步生成潜在表示:
;
其中: 为第 步的扩散强度; 为扩散强度的最小值; 为扩散强度的最大值;
为扩散调度的指数控制因子;为总扩散步数;为当前扩散步索引,取值范围为 ;
为高斯噪声缩放系数; 为零均值单位方差的高斯随机噪声张量; 为原始目标潜在表示; 为前一阶段构造的潜在残差; 表示与调度因子绑定的标准差放缩项。
5.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述马尔可夫转移规则定义为:;
其中: 表示潜在扩散的转移概率密度函数; 表示上一扩散步的潜在表示;
表示上采样图像在潜在空间中的编码表示; 表示潜在残差特征图;
表示相邻步扩散强度的增量; 表示第 步的扩散强度; 表示第 步的扩散强度;
表示该步的协方差矩阵;为与潜在表示维度相同的单位矩阵; 表示均值为 、协方差为 的高斯分布对随机变量 的概率密度函数。
6.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述反向迭代采样过程包括:在每一步由去噪网络预测下一个潜在状态的均值与协方差,所述预测形式为:;
;
其中: 表示用于采样的均值向量; 表示用于采样的协方差矩阵; 表示第 步的扩散强度; 表示第 步的扩散强度; 表示相邻扩散步的强度增量; 表示第 步的潜在扩散表示; 表示引导潜在表示;为噪声缩放系数;为单位协方差矩阵;
为具有参数 的去噪神经网络函数,用于估计噪声残差; 为原始低分辨率全向图像;为与图像空间对应的纬度加权图;表示当前扩散步索引。
7.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述去噪神经网络包括:输入包含当前扩散潜在表示 、引导潜在表示 、低分辨率图像 、纬度图 、当前步数;
网络包含时间调制模块与像素感知控制模块,后者的特征增强表示为:;
其中: 表示最终融合后的输出特征图; 表示控制流分支的中间特征图; 表示上下文特征与控制特征拼接后的融合特征图; 表示具有零初始化权重的卷积操作; 表示对应元素逐位乘法操作。
8.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述解码器包括:输入为反向采样后的潜在表示 ;
包括由多层反卷积结构构成的解码模块,将潜在表示恢复为图像空间表示;
输出为重建后的高分辨率图像 。
9.根据权利要求1所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述损失函数包括:潜在空间重建损失:
;
图像空间重建损失:
;
感知损失:
;
其中: 表示L2范数,即欧式距离; 表示预测潜在表示的去噪神经网络;
表示在潜在空间中的去噪重建损失;为扩散总步数; 表示高分辨率图像在潜在空间的原始表示; 表示扩散到第 步的潜在表示; 表示由双线性插值图像编码得到的引导潜在表示; 为原始低分辨率全向图像; 为与图像空间对应的纬度加权图;表示当前扩散步索引; 表示像素空间的均方误差损失; 表示真实的高分辨率图像; 表示通过解码器生成的重建图像; 表示感知损失,用于衡量图像在深层特征空间中的差异; 表示预训练图像感知网络提取的图像深层特征表示。
10.根据权利要求9所述的基于纬度感知潜在扩散模型的全向图像超分辨率重建方法,其特征在于,所述损失函数的总损失函数定义为:;
其中: 表示用于像素感知控制块输出的一致性约束损失; 表示用于整体模型训练的联合损失函数; 表示潜在空间的重建损失; 表示图像空间的像素重建误差损失; 表示基于图像深层特征差异的感知损失; 为各损失项的加权系数。