利索能及
我要发布
收藏
专利号: 2023108015269
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,包括以下步骤:搭建一种无参考图像质量评价模型,该模型包括预训练阶段和微调阶段;

获取无参考图像,构建训练集;

在预训练阶段,将训练集输入模型中,采用元学习方法,通过双层梯度优化策略训练Resnet骨干网络;

同时引入自适应融合多尺度特征模块,自适应融合图像局部和全局特征得到多尺度特征,构建全局空间与通道间依赖关系,进而训练得到包含特定失真知识的元模型;

在包含特定失真知识的元模型后添加空间金字塔池化层,用于接收任意尺寸的图像;

将多尺度特征通过全局池化得到特征集,然后将特征集输送到节点构建模块和边构建模块,得到特定失真类型的图表示;

将特定失真类型的图表示的节点和边输入失真类型判别模块得到三元组损失,学习不同失真之间的对比关系;

通过失真级别判别模块得到均方误差损失,并和三元组损失进行加权来优化整体模型,获得构建失真图表示的先验知识;

在微调阶段中,将失真图像通过预训练的特征提取网络提取失真特征;

利用具有先验知识的节点构建模块和边构建模块快速得到失真特征的良好表示;

将得到的失真特征的良好表示通过全连接层映射得到相应的质量分数。

2.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,在通过双层梯度优化训练Resnet骨干网络来适应未知失真时,引入自适应融合多尺度特征模块,将卷积块分成多个部分,通过一个卷积块的变换来校准另一部分卷积块的特征变化,自适应地构建全局空间和通道间依赖关系。

3.根据权利要求2所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,所述自适应融合图像局部和全局特征得到多尺度特征,构建全局空间与通道间依赖关系,包括:对于一组给定形状为C,H,W的特征层,C,H,W分别表示通道数、高和宽,将其分为3个卷积块M1,M2,M3;

将输入特征X利用通道分割操作分为 两部分,Xlocal,Xglobal分别表示局部特征和全局特征;

利用M1,M2对Xglobal进行校准操作,给定输入Xglobal,采用尺寸为R×R,步幅为R的平均池化来扩大感受野:P1=AVGPoolR(Xglobal)

通过M1对P1进行特征变换:

X′global=UP(P1×M1)

式中,UP(·)为双线性插值算子,进行特征变换后,增加了校准操作;通过M2对Xglobal进行通道增强:Y′=(Xglobal×M2)·σ(Xglobal+X′global)式中,σ是激活函数,·表示特征的点乘;

使用X′global作为残差因子,捕捉全局失真信息,通过M3对捕捉到的全局失真信息与原始特征Xlocal进行融合得到输出向量Y:式中,表示特征对应相加。

4.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,将特征集输送到节点构建模块和边构建模块,得到特定失真类型的图表示的步骤包括:由多个全连接层组成节点构建模块,将特征集输入节点构建模块的具体表达式如下:其中,fk,i表示每张图像的特征向量, 表示节点特征维数,N表示失真图像的数量,FN(fk,i;θ)表示节点构建网络,θ表示FN的网络参数,vk,i表示失真类型k中第i个样本生成的节点,Vk表示失真图表示的节点特征集合。

5.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,将特征集输送到节点构建模块和边构建模块,得到特定失真类型的图表示的步骤包括:通过节点之间的点积初始化边特征 的值,表示为 表示节点特征维数,i、j表示第i个样本和第j样本间的关系;

在初始化边特征后,输入图卷积网络组成的边构建模块进一步优化图表示的内部结构,具体过程如下:初始化的边特征 和对应的邻接矩阵 作为边构建模块输入,通过l层图卷积网络优化后得到边特征的值可以计算为:

式中,σ表示ReLu操作, 表示三维邻接矩阵,

I表示单位矩阵, 表示第l层图卷积网络的输出, 是图卷积网络第l层的权值矩阵;

失真图表示的边特征集合可以表示为:

其中, 表示边特征维数,ek,i,j表示第i个样本和第j样本间的关系,Ek表示失真图表示的边特征集合,N表示失真图像的数量。

6.根据权利要求5所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,将失真图像表示成图结构后,通过失真类型判别模块聚合来自节点特征集合的全局信息和来自边特征集合的样本间关系,得到三元组损失函数的具体表达式为:其中,l表示图卷积网络组成的失真类型判别模块的层数, 分别表示节点Vk的第l层和l+1层,σ表示ReLu操作,T表示失真类型判别模块, 表示对Ek进行平均池化变换得到节点Vk的二维邻接矩阵, 是图卷积网络第l层的权值矩阵,ycode表示失真类型判别模块的输出向量,d表示欧式距离, 表示和ycode属于同一类型的样本表示正样本,而 表示和ycode不同类型的样本表示负样本,margin表示在比较时将正负样本分开的阈值, 表示三元组损失函数。

7.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,将边特征Ek通过平均池化后输入,聚合来自当前节点和剩余相邻节点的信息,使用均方误差损失函数来训练失真级别判别模块具体表达式为:其中,yi和y′i分别表示预测得到的和真实失真程度,i表示第i个样本, 表示均方误差函数, 表示三元组损失函数,由超参数λ对两个损失函数 和 进行加权,获得整体模型的损失函数

8.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,在微调阶段,将学习到丰富先验知识的节点构建模块和边构建模块的输出进行拼接,随后输入到全连接层中预测最终的质量分数,训练模型的均方误差函数具体为:其中,Nf表示训练的小批量大小,yi和y′i分别表示预测得到的和真实失真程度,i表示第i个样本。

9.根据权利要求1所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法,其特征在于,所述骨干网络为Resnet50特征提取网络。

10.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1‑9中任一项所述的一种基于图卷积和多尺度特征的无参考图像质量评价方法的步骤。