利索能及
我要发布
收藏
专利号: 2023109376781
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于立方体投影格式的双生成器全景图像修复方法,其特征在于,包括以下步骤:获取待修复全景图像;

将待修复全景图像的格式由等距柱状投影格式转换为立方体贴图投影格式;

将立方体贴图投影格式的待修复全景图像的前、后、左、右四个面进行拼接,得到待修复矩形图像;

利用四面生成器对待修复矩形图像进行修复,得到重构矩形图像;

将重构矩形图像与上、下两面按通道拼接,得到多通道的待修复图像;

利用六面生成器对多通道的待修复图像进行修复,得到重构全景图像;

将重构全景图像转换为等距柱状投影格式的重构全景图像,即为修复后的全景图像。

2.根据权利要求1所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述四面生成器和六面生成器构成相同,均包括特征提取器、基于Transformer的U型网络和重建网络。

3.根据权利要求2所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述特征提取器包括2层门控卷积层,所述门控卷积层的卷积核为4×4,步长为2,填充数为1;

所述基于Transformer的U型网络包括5个Transformer块;

所述重建网络包括2层门控转置卷积层,所述门控转置卷积层的卷积核为3×3,步长为

1,填充数为1。

4.根据权利要求1所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,利用四面生成器对待修复矩形图像进行修复,得重构矩形图像以及利用六面生成器对多通道的待修复图像进行修复,得重构全景图像,包括:利用特征提取器对待修复矩形图像或多通道的待修复图像进行特征提取,表达式如下:;

其中, 和 为两个不同的卷积核, 是RELU激活函数, 是sigmoid函数,是逐元素相乘符号;

利用基于Transformer的U型网络进行特征处理,表达式如下:;

其中, 为经特征提取器输出的张量; 为一维展平的张量;Flatten代表张量铺平操作,即将多维度的张量转换为一维; 代表对一维张量进行位置编码; 代表对一维张量进行多头注意力计算; 代表全连接网络; 经全连接网络输出的张量;

利用重建网络进行图像重建,得重构矩形图像或重构全景图像。

5.根据权利要求1所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,对待修复图像进行修复前需构建全景图像修复模型,并对其进行预训练,具体包括:a、基于原始真实全景图像及其对应的掩膜,构建带有孔洞的全景图像数据集,数据集分为训练集和测试集;

b、将训练集中带有孔洞的全景图像的格式由等距柱状投影格式转换为立方体贴图投影格式;

c、将立方体贴图投影格式的带有孔洞的全景图像中的前、后、左、右四个面进行拼接成带孔洞的矩形图像;

d、构建四面生成器,以带孔洞的矩形图像作为输入,修复矩形图像作为输出,结合生成器的损失函数训练四面生成器;

e、构建六面生成器,将重构矩形图像与上、下两面按通道拼接,并作为输入,修复的立方体贴图投影格式的全景图像作为输出,结合生成器的损失函数训练六面生成器;

f、根据四面生成器和六面生成器构建全景图像修复模型,以带孔洞的立方体贴图投影格式的全景图像作为输入,原始真实全景图像作为输出,结合判别器及全局损失函数训练全景图像修复模型,得全景图像修复模型;

g、利用测试集对全景图像修复模型进行测试,得测试结果,若测试结果不好,则重复步骤c f,直至测试结果好。

~

6.根据权利要求5所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述生成器的损失函数包括风格损失函数、感知损失函数和重建损失函数;

所述风格损失函数为每层卷积层均求出Gram矩阵,计算对称卷积层之间的欧式距离,将不同卷积层的欧式距离相加,得风格损失,其表达式为:;

其中, 为风格损失, 为2范式, 为Gram矩阵, 为修复后图像, 为真实图像;

所述感知损失函数为将真实图像卷积得到的特征与重构图像卷积得到的特征进行比较,其表达式为:;

其中, 为感知损失, 为预训练的VGG‑16网络,VGG‑16网络采用作为特征提取的网络层,j为第j层网络层,为第j层网络层中元素的个数,N为网络层数量;

所述重建损失函数的表达式为:

其中, 为重建损失, 为1范式。

7.根据权利要求5所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述判别器的数量为2,分别为全局鉴别器和面鉴别器,所述全局鉴别器由4层卷积核为4×4,步长为2,填充数为1的卷积层和1层线性层构成,其用于鉴别立体图像的六个面的相关性;

所述面鉴别器由5层卷积核为4×4,步长为2,填充数为1的卷积层和1层线性层构成,其用于鉴别矩形的四个面的真实性。

8.根据权利要求5所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述全局损失函数的表达式为:;

其中, 为全局损失, 为重建损失, 为对抗损失, 为感知损失,为风格损失, 、 、 、 为对应的超参数。

9.根据权利要求8所述的基于立方体投影格式的双生成器全景图像修复方法,其特征在于,所述对抗损失函数的表达式为:;

其中, 为对抗损失, 为真实图像, 为修复后图像,D为鉴别器, 为期望,表示生成器输出的图像数据分布, 表示真实图像数据分布, 表示修复后图像数据分布, 表示梯度计算操作。