利索能及
我要发布
收藏
专利号: 2024113152059
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于,包括:

S1:获取待评价的虚拟视点图像;

S2:将虚拟视点图像输入预训练的基于U‑Net网络构建的视觉残差恢复网络模型中,通过该模型的编码端和解码端分别提取多级退化特征和多级恢复特征,生成多尺度的退化特征图和恢复特征图;

步骤S2中,视觉残差恢复网络模型包括编码器和解码器;

编码器包括一个3×3卷积层和若干个依次首尾连接且尺度不同的编码端,一个编码端包括一个对应尺度的并行非对称残差网络;其中,并行非对称残差网络用于在前向传播过程中捕获空间信息;

解码器包括若干个依次首尾连接且与编码端的尺度一一对应的解码端和一个3×3卷积层,一个解码端包括一个3×3反卷积层和一个对应尺度的并行非对称残差网络;其中,每个编码端的输出跳跃连接到对应尺度的解码端;

将所有尺度的编码端输出的特征图作为多尺度的多级退化特征图;将所有尺度的解码端输出的特征作为多尺度的多级恢复特征图;

并行非对称残差网络包括依次首尾连接的第一组并行卷积、第一批量归一化层、第一PReLU层、第二组并行卷积、第二批量归一化层和第二PReLU层;其中,将并行非对称残差网络的输入特征图经过1×1卷积层降维,再与第二批量归一化层的输出相加后输入第二PReLU层;

第一组和第二组并行卷积将输入特征图分别输入至并列设置的1×3水平卷积层、3×1垂直卷积层和3×3卷积层,再将1×3水平卷积层、3×1垂直卷积层和3×3卷积层的输出进行逐元素加法运算后生成输出特征图;

并行非对称残差网络的计算公式表示为:

式中:R、I分别表示并行非对称残差网络的输出特征图和输入特征图;P1和P2表示两组并行卷积的输出;C1表示1×1卷积;C3表示步长为1的3×3卷积;C1×3和C3×1分别表示1×3和3×1卷积; 表示逐元素加法运算;fBN和fReLU分别表示批量归一化操作和PReLU激活操作;

S3:将虚拟视点图像输入预训练的EfficientNet‑B0网络模型中,通过该模型提取多级内容特征,生成多尺度的内容特征图;

S4:通过多特征权重自适应融合模块将多尺度的退化特征图、恢复特征图和内容特征图进行自适应融合,生成多层融合特征图;

S5:利用基于通道级卷积的通道注意力模块将多层融合特征图进行跨通道信息交互,生成融合通道级特征图;

S6:通过全连接层将融合通道级特征图映射为对应的预测客观质量分数,作为虚拟视点图像的图像质量评价结果进行输出。

2.如权利要求1所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S3中,将EfficientNet‑B0网络模型多个Stage层输出的特征图作为多尺度的多级内容特征图。

3.如权利要求1所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S4中,多特征权重自适应融合模块的处理步骤包括:S401:通过特征增强模块分别对多尺度的退化特征图和恢复特征图进行特征增强,生成多尺度的增强退化特征图和增强内容特征图;

S402:通过权重自适应生成模块根据退化特征图和内容特征图中特征的重要性为其分配不同的权重;根据分配的权重对多尺度的增强退化特征图和增强内容特征图进行加权,生成多尺度的权重自适应融合特征图;

S403:通过特征增强模块对多尺度的恢复特征图进行特征增强,生成多尺度的增强恢复特征图;

S404:将多尺度的增强恢复特征图与对应尺度的权重自适应融合特征图拼接和全局平均池化操作,得到多尺度的融合特征图;将多尺度的融合特征图进行级联操作,生成最终的多层融合特征图;

多层融合特征图的计算公式表示为:

式中:Ffusion表示多层融合特征图;F1(i)表示第i尺度的权重自适应融合特征图;F2(i)表示第i尺度的增强恢复特征图;GAP表示全局平均池化操作;CAT和 均表示级联操作;i=

1,2,3,4。

4.如权利要求3所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S401中,特征增强模块将其输入特征图分别输入至并行设置的三条支路,将三条支路的输出进行连接后再进行批量归一化操作和PReLU激活操作,输出对应的增强特征图;第一条支路包括1×1卷积层;第二条支路包括3×3卷积层;第三条支路包括首尾连接的两个3×3卷积层;

增强退化特征图的计算公式表示为:

增强内容特征图的计算公式表示为:

式中:Ei(fD)、Ei(fC)分别表示增强退化特征图和增强内容特征图;ID(i)、IC(i)分别表示输入的第i尺度的退化特征图和内容特征图; 表示步长为2的1×1卷积; 表示步长为

2的3×3卷积;C3表示步长为1的3×3卷积; 表示步长为8的1×1卷积; 表示步长为8的3×3卷积;fBN和fReLU分别表示批量归一化操作和PReLU激活操作; 表示级联操作;i=1,2,

3,4。

5.如权利要求3所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S402中,权重自适应生成模块将输入的增强退化特征图和增强内容特征图进行级联拼接后,利用两个单独的3×3卷积和sigmoid函数生成两个模态的权重图;将两个权重图分别与增强退化特征图和增强内容特征图相乘,得到对应的加权退化特征图和加权内容特征图;对加权退化特征图和加权内容特征图进行级联操作,生成权重自适应融合特征图;

权重自适应融合特征的计算公式表示为:

式中:F1(i)表示第i尺度的权重自适应融合特征图;Ei(fD)、Ei(fC)分别表示增强退化特征图和增强内容特征图;Ei(f)表示增强退化特征图和增强内容特征图级联后的增强特征图;C3表示步长为1的3×3卷积;FD(i)和Fc(i)分别表示第i尺度的加权退化特征图和加权内容特征图;σ表示sigmoid函数;⊙表示逐像素相乘; 表示级联操作;i=1,2,3,4。

6.如权利要求3所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S403中,增强恢复特征图的计算公式表示为:式中:F2(i)表示增强恢复特征图;IR(i)表示输入的第i尺度的恢复特征图; 表示步长为2的3×3卷积;C3表示步长为1的3×3卷积;fBN和fReLU分别表示批量归一化操作和PReLU激活操作; 表示步长为2的1×1卷积; 表示级联操作;i=1,2,3,4。

7.如权利要求1所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S5中,基于通道级卷积的通道注意力模块将输入的多层融合特征图进行全局平均池化操作后,再经过3×3的一维卷积和sigmoid函数实现各通道之间空间信息交互,获取各通道的权重值;将权重值与输入的融合特征图相乘得到融合通道级特征图;

融合通道级特征的计算公式表示为:

F=Ffusion⊙σ(Conv3×3(Conv(Ffusion)));

式中:F表示融合通道级特征图;Ffusion表示多层融合特征图;GAP表示全局平均池化操作;Conv3×3表示1维的3×3卷积操作;σ表示sigmoid函数;⊙表示逐像素相乘。

8.如权利要求1所述的基于残差恢复和多特征融合的虚拟视点图像质量评价方法,其特征在于:步骤S6中,全连接层将融合通道级特征图经过三层全连接神经网络和两个PReLU激活函数后,生成对应的预测客观质量分数。