1.一种基于卷积神经网络的3D图像质量检测方法,其特征在于,包括以下步骤:
步骤1:选取J幅失真3D图像,使用大小为a×a、步长为a/2的滑动窗口对每幅失真3D图像的左视点图像和右视点图像进行区域分割后得到P对小图像,分割后得到的J*P对小图像作为训练集;
步骤2:通过GBVS显著图计算方法计算每幅失真3D图像的显著图像,使用与步骤1相同的滑动窗口对所有显著图像进行区域分割后得到每对小图像所对应的同样大小的显著小图像;
步骤3:构建卷积神经网络;
步骤4:计算步骤2中显著小图像的显著系数,选取显著系数不小于显著性阈值的显著小图像对构建的卷积神经网络进行监督训练,计算均方误差得到损失函数值;采用反向传播算法不断迭代调整网络参数;
步骤5:选取M幅待预测失真3D图像,使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的左视点图像和右视点图像进行区域分割后得到P对待预测小图像;
通过GBVS显著图计算方法计算每幅待预测失真3D图像的显著图像,使用与步骤1相同的滑动窗口对每幅待预测失真3D图像的显著图像进行区域分割得到每对待预测小图像对应的显著区域块,计算显著区域块的显著系数;
步骤6:将步骤5分割后的M*P对待预测小图像输入步骤4训练后的卷积神经网络预测得到每对待预测小图像的质量分数,对每对待预测小图像的质量分数使用对应的步骤5计算得到的显著区域块的显著系数进行加权平均得到待预测失真3D图像的最终质量分数;
所述步骤3具体为:
卷积神经网络包括输入层、特征提取模块、特征融合模块、质量权重预测模块和输出层;输入层包括左视点输入层和右视点输入层,左视点输入层和右视点输入层分别输入失真3D图像的左视点图和右视点图;
特征提取模块包括左视点特征提取模块和右视点特征提取模块,左视点特征提取模块包括五个依次连接的卷积层和三个依次连接的最大池化层,第二个卷积层和第三个卷积层之间连接有第一个最大池化层,第三个卷积层和第四个卷积层之间连接有第二个最大池化层;右视点特征提取模块和左视点特征提取模块结构相同;
特征融合模块包括左视点特征融合模块和右视点特征融合模块,左视点特征融合模块包括低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层,低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输入分别为第一个最大池化层、第二个最大池化层和第三个最大池化层的输出,将低级特征全局平均池化层、中级特征全局平均池化层和高级特征全局平均池化层的输出拼接后作为质量权重预测模块的输入;右视点特征融合模块与左视点特征融合模块结构相同;
质量权重预测模块包括左视点质量权重预测模块和右视点质量权重预测模块,左视点质量权重预测模块包括四个全连接层,第一个全连接层分别输入第二个全连接层和第四个全连接层,第二个全连接层的输出连接至第三个全连接层;第二个全连接层和第三个全连接层组成质量预测网络,第四个全连接层为权重预测网络;右视点质量权重预测模块与左视点质量权重预测模块结构相同;
左视点质量权重预测模块的第三个全连接层和第四个全连接层的输出和右视点质量权重预测模块的第三个全连接层和第四个全连接层的输出通过加权融合后从输出层输出。
2.根据权利要求1所述的一种基于卷积神经网络的3D图像质量检测方法,其特征在于,左视点质量权重预测模块的第三个全连接层和第四个全连接层分别输出左视点图的质量L R分数S 和右视点图的质量分数S ,右视点质量权重预测模块的第三个全连接层和第四个全L R连接层分别输出左视点图的权重分数W 和右视点图的权重分数W;然后通过下式得到当前输入的小图像对的质量分数:L R L R quality
其中,S、S分别为左右视点图的质量分数,W 、W分别为左右视点图的权重分数,S为预测的小图像对的质量分数。