利索能及
我要发布
收藏
专利号: 2023112214405
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于主动学习的少样本无参考图像质量评价算法,其特征在于,包括以下步骤:步骤一、设计针对质量和属性预测的prompts,并采用CLIP和课程学习从图像质量的角度对待选择图像进行排序和投票;

步骤二、借助数据集蒸馏和比较特征空间距离,从图像内容的角度对待选择图像进行排序和投票;

步骤三、采用Borda计数法,融合图像质量和内容两个方面的投票,进行最终的样本选择,并借助人工标注选中的图像;

步骤四、采用微调prompt的方式,提高模型对图像质量的预测能力,并重复步骤一到步骤四,直到被选中的样本数量达到预期;

步骤五、采用所有被选中的样本微调prompt和CLIP的少量参数,完成质量评价模型的最终训练。

2.根据权利要求1所述的基于主动学习的少样本无参考图像质量评价算法,其特征在于,所述步骤一中从图像质量角度选择样本,包括以下流程:设计6组prompts,每组包含3对prompts。

3.根据权利要求2所述的基于主动学习的少样本无参考图像质量评价算法,其特征在于,所述步骤一中,设计的prompt记为 其中i=1,2,…6,j=1,2,3,c=0,1,分别表示prompt属于第i组,第j对,第c类,将CLIP的文本和图像编码器分别记为Et,Ei,则CLIP对图像I的预测分数为:其中, 为余弦相似度,si,j表示图像I在第i组,第j对prompt得到的预测分数,若s6,j接近1则,图像噪声强度越明显,若s1,j接近1则图像质量越高,反之s1,j接近0则表示图像质量差。

4.根据权利要求3所述的基于主动学习的少样本无参考图像质量评价算法,其特征在于,所述步骤一中,通过公式(2)获得每组每对prompt得到的预测分数之后,计算每组预测分数的方差作为预测不确定性,并融合不同属性和整体质量的不确定性获得每张图像的不确定性u:进而对所有图像的不确定性un进行排序,其中n=1,2,…,N,N为样本总数:vn=argsort(un) (3)

其中,vn为升序排序后的索引值,最大数值为N,最小为1,大的值表示该图像被选中的偏好较高,然后采用课程学习的方式选择不同难度的样本,在第一轮选择难度在1/3区域的N1样本:在第二轮中选择难度在2/3区域的N2样本:

5.根据权利要求4所述的基于主动学习的少样本无参考图像质量评价算法,其特征在于,所述步骤二中从图像内容角度选择样本,包括以下流程:计算所有图像和蒸馏图像欧式距离,将整个数据集蒸馏为少量的模拟图像之后,在CLIP图像编码器的特征空间中计算所有图像和蒸馏图像之间的欧氏距离,并对距离进行排序:其中,D表示蒸馏得到的图像集,U是原始的无标签图像数据集,v'n最大数值为N,最小为

1,大的值表示该图像被选中的偏好较高。

6.根据权利要求5所述的基于主动学习的少样本无参考图像质量评价算法,其特征在于,所述步骤三中采用Borda计数法,融合图像质量和图像内容两个方面的投票,进行最后的样本选择:其中,S为选中的样本,Ns表示被选中的图像数量,大的 值表示该图像被选中的偏好较高选择图像后对选中的图像进行人工标注,获取图像的质量分数。