1.一种基于视觉显著性和深度神经网络的图像质量评价方法,其特征在于:具体包含如下步骤;
步骤1,利用视觉显著性中的颜色显著性以及中央区域显著性,建立一种基于视觉显著性的图像显著性检测模型;具体包括以下子步骤:步骤11,利用人眼对颜色及图像中央特别关注的特点,生成颜色加权显著图;
步骤12,利用凸包原理,得出显著性物体的区域,生成凸包显著图;
步骤13,将颜色加权显著图和凸包显著图融合,得到最终显著图,并给出效果图;
步骤2,图像预处理:采用LIVE3DIQD_phase 1数据库作为图像预处理库,以及后面的训练库;具体包括以下子步骤:步骤21,融合左右眼图像的生成:通过将左视图视为参考,将左图像与右视差补偿图像融合来合成独眼图;
步骤22,显著图像的生成:对立体失真图像进行视觉显著图的生成,融合生成相应的独眼图及其最终显著图;
步骤3,将卷积与神经网络两者相结合,得出卷积神经网络;
在步骤11中,生成颜色加权显著图,具体如下:
利用超像素作为显著性检测估计元素,依据SLIC方法,获取输入图像的超像素;
为得到对比先验图,对于任意超像素i,计算其已经归一化到[0,1]的平均坐标pi和在CIELAB空间下的颜色均值Ci,超像素的显著值的计算如下:其中,令σP为权重;
在步骤12中,凸包显著图的生成,具体如下:
步骤3.1,将待检测图像由RGB图转换为灰度图像;
步骤3.2,进行二值图像的转化,寻找图像的轮廓得到候选的凸点;
步骤3.3,调用凸包API生成凸包图像,并进行中心坐标的确定;
步骤3.4,接着用凸包的中心坐标(a0,b0)代替传统算法中的图像中心坐标;超像素的显著值计算公式如下:其中ai,bi分别为超像素i归一化到[0,1]后的水平坐标均值和垂直坐标均值,并且令上式σa=σb;
在步骤13中,最终显著图的具体表达式如下:
Sin=Sco(i)*Sce(i);
在步骤3中,卷积神经网络的结构具体包含:
输入网络:所设计的立体失真图像评价算法,侧重于显著性,因此依赖于显著图进行训练,生成的显著图及左右眼图像均先进行切块处理,之后三种图像块分别作为输入同时输入到网络中进行计算;
卷积层:卷积层是整个深度卷积网络的最重要参数,提取特征就是利用分割后的图像与卷积核进行卷积计算,其中感受视野的大小就是卷积核的大小;
池化层:池化层其实就是一个压缩的过程,其池化的输入是卷积层的输出;分为max‑pooling和mean‑polling;
(4)全连接层:输入的三份图像经过多层池化后,可得到一维特征向量,进而在全连接层将其进行线性拼接;
(5)激活函数:线性模型的拟合能力并不足,所以需要引入非线性映射对卷积特征图进行处理,也称为激活,常用的激活函数为sigmoid;
(6)模型具体设计参数:卷积核大小设置为3*3,使用sigmoid作为激活函数,最大池化窗口大小为2*2;输入图像数量batch_size选择64,训练次数epoch选择200,以0.5的比例在全连接层对输出值进行dropout处理,以防止过度拟合;
(7)目标函数设计:目标函数设置为数据库中图像与整体质量均值的方差之和;在最终模型确立之后,通过卷积神经网络的训练即可预测得分。