利索能及
我要发布
收藏
专利号: 2022110812842
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:包括如下步骤:根据训练好的学生降质特征提取模块提取的降质图像特征、教师降质特征提取模块提取的原始质量图像特征、训练好的学生高频特征提取模块提取的学生高频特征、教师高频特征提取模块提取的教师高频特征、复原特征提取网络提取的复原特征以及质量预测模块输出的第一、第二和第三质量分数,计算图像质量评估模型的总损失函数;

以总损失函数最小为目标优化所提出的图像质量评估模型,当损失下降并保持稳定时认为训练结束,得到训练好的图像质量评估模型;

将复原图像输入训练好的图像质量评估模型,输出复原图像的质量分数。

2.根据权利要求1所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述训练好的学生降质特征提取模块获取方法如下:

将降质图像与对应的原始质量图像分别输入学生降质特征提取模块与教师降质特征提取模块,提取降质图像特征与原始质量图像特征;

将与降质图像对应的复原图像输入复原特征提取网络,提取复原特征;

将原始质量图像输入教师高频特征提取模块再经过三个八度卷积层,提取教师高频特征;

将提取到的降质图像特征与复原特征做差得到第一差值特征,将第一差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测,得到第一质量分数;

将提取到的原始质量图像特征与复原特征做差得到第二差值特征,将第二差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测,得到第二质量分数;

通过引用知识蒸馏的机制,使用第一质量分数、第二质量分数与CKD Loss来对学生降质特征提取模块、教师降质特征提取模块进行训练,获得训练好的学生降质特征提取模块。

3.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述将原始质量图像输入教师高频特征提取模块再经过三个八度卷积层,提取教师高频特征,包括:将原始质量图像输入教师高频特征提取模块得到特征,提取到的特征根据尺度空间理论划分为高频特征和低频特征两部分,两部分进一步送入八度卷积层进行特征提取,得到第一阶段的高频特征与低频特征;

第一阶段的高频与低频特征进一步送入第二个八度卷积层,得到第二阶段的高频特征与低频特征;

第二阶段的高频与低频特征进一步送入第三个八度卷积层,得到第三阶段的高频特征与低频特征;

舍弃第一到三阶段的低频特征部分,将第一到三阶段的高频特征作为教师高频特征。

4.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述将提取到的降质图像特征与复原特征做差得到第一差值特征,将第一差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测,得到第一质量分数,包括:将提取到的降质图像特征与复原特征做差得到第一差值特征 将第一差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测;

第一差值特征 首先经过质量预测模块的一层卷积层后,与第一阶段的教师高频特征进行拼接;拼接后的结果经过第二层卷积层后,与第二阶段的教师高频特征进行拼接;拼接后的结果经过第三层卷积层后,与第三阶段的教师高频特征进行拼接,拼接后的结果经过第四层卷积层与全连接层,得到第一质量分数。

5.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述将提取到的原始质量图像特征与复原特征做差得到第二差值特征,将第二差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测,得到第二质量分数,包括:将提取到的原始质量图像特征与复原特征做差得到第二差值特征 第二差值特征与教师高频特征一起输入质量预测模块,进行质量分数预测;

第二差值特征 首先经过质量预测模块的一层卷积层后,与第一阶段的教师高频特征进行拼接;拼接后的结果经过第二层卷积层后,与第二阶段的教师高频特征进行拼接;拼接后的结果经过第三层卷积层后,与第三阶段的教师高频特征进行拼接,拼接后的结果经过第四层卷积层与全连接层,得到第二质量分数。

6.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述通过引用知识蒸馏的机制,使用第一质量分数、第二质量分数与CKD Loss来对学生降质特征提取模块、教师降质特征提取模块进行训练,获得训练好的学生降质特征提取模块,包括:引入知识蒸馏的机制,通过CKD Loss损失来进行训练,教师降质特征提取模块引导学生降质特征提取模块的学习,训练的结果是使学生降质特征提取模块的输出逼近教师降质特征提取模块的输出,获得训练好的学生降质特征提取模块;

所述CKD Loss损失计算公式为:

其中,

LCKD表示第一条件知识蒸馏损失,La表示学生降质特征提取模块损失, 表示教师降质特征提取模块损失,λCKD表示损失权重,D表示降质图像,H表示原始质量图像, 表示学生降质特征提取模块, 表示教师降质特征提取模块,si为第i张图像质量分数真实值,i表示图像的序号,N表示图像的总数,SDH表示第一质量分数,SHH表示第二质量分数。

7.根据权利要求1所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述训练好的学生高频特征提取模块获取方法如下:

将与降质图像对应的原始质量图像输入学生高频特征提取模块再经过三个八度卷积层,提取学生高频特征;

将第二差值特征 与学生高频特征一起输入质量预测模块,进行质量分数预测,得到第三质量分数;

将第二差值特征 与教师高频特征一起输入质量预测模块,进行质量分数预测,得到第二质量分数;

通过引用知识蒸馏的机制,使用第二质量分数、第三质量分数与LF Loss来对学生高频特征提取模块、教师高频特征提取模块进行训练,获得训练好的学生高频特征提取模块。

8.根据权利要求7所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:将与降质图像对应的原始质量图像输入学生高频特征提取模块再经过三个八度卷积层,提取学生高频特征,包括:将与降质图像对应的复原图像输入学生高频特征提取模块得到特征,提取到的特征根据尺度空间理论划分为高频特征和低频特征两部分,两部分进一步送入八度卷积层进行特征提取,得到第一阶段的高频特征与低频特征;

第一阶段的高频与低频特征进一步送入第二个八度卷积层,得到第二阶段的高频特征与低频特征;

第二阶段的高频与低频特征进一步送入第三个八度卷积层,得到第三阶段的学生高频特征与低频特征;

舍弃第一至三阶段的低频特征部分,将第一到三阶段的高频特征作为学生高频特征。

9.根据权利要求7所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述将第二差值特征 与学生高频特征一起输入质量预测模块,进行质量分数预测,得到第三质量分数,包括:将第二差值特征 与学生高频特征一起输入质量预测模块,进行质量分数预测;

第二差值特征 首先经过质量预测模块的一层卷积层后,与第一阶段的学生高频特征进行拼接;拼接后的结果经过第二层卷积层后,与第二阶段的学生高频特征进行拼接;拼接后的结果经过第三层卷积层后,与第三阶段的学生高频特征进行拼接,拼接后的结果经过第四层卷积层与全连接层,得到第三质量分数。

10.根据权利要求7所述的基于高频提取和知识蒸馏的图像质量评估方法,其特征在于:所述通过引用知识蒸馏的机制,使用第二质量分数、第三质量分数与LF Loss来对学生高频特征提取模块、教师高频特征提取模块进行训练,获得训练好的学生高频特征提取模块,包括:引入知识蒸馏的机制,通过HF Loss损失来进行训练,教师高频特征提取模块引导学生高频特征提取模块的学习,训练的结果是使学生高频特征提取模块的输出逼近教师高频特征提取模块的输出,获得训练好的学生高频特征提取模块;

HF Loss损失计算公式如下:

其中,

LHF表示第二条件知识蒸馏损失,λ1、λ2、λ3分别表示学生高频特征提取模块第一、第二、第三阶段的权重参数,si为第i张图像质量分数真实值, 表示教师高频特征提取模块损失,Lb表示学生高频特征提取模块损失,i表示图像序号,N表示图像的总数, 表示学生高频特征提取模块第j个阶段提取的高频特征, 表示教师高频特征提取模块第j个阶段提取的高频特征,SHR表示第三质量分数,SHH表示第二质量分数,j取1,2,3。