利索能及
我要发布
收藏
专利号: 2022103521310
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:将视频内每一帧的视频图像It输入至无参考视频质量评价网络,无参考视频质量评价网络首先通过双深度学习网络提取获得视频图像It的深度特征Ft,深度特征Ft经过ANN网络进行特征降维处理后输入双向门控循环网络,通过双向门控循环网络构建视频帧特征之间的联系获取视频帧质量分数qt,然后视频帧质量分数qt经过改进的时间记忆模型获得视频质量分数预测分量Q1,同时视频帧质量分数qt经过高斯分布回归预测模型获得视频质量分数预测分量Q2,视频质量分数预测分量Q1和视频质量分数预测分量再经过调节因子r进行优化调节获得最终的视频质量分数Q;

所述改进的时间记忆模型包括在时间记忆模型的拟合过程中加入了正比例函数拟合与指数函数拟合获得记忆影响因素 且在softmin‑weighted模块的可微的softmin函数中加入参数ε获得视觉滞留影响因素 引入参数δ用于的平衡记忆影响因素 和视觉滞留影响因素 以此获得第t帧图像的质量评分Qt',然后获得改进的时间记忆模型的预测分量Q1,具体为:在tm∈(t‑t,t‑1)帧对第t帧的记忆影响因素 为:

其中,qm表示进行最小值池化操作后得到的帧质量分数,lt1和lt2分别表示利用正比例函数和指数函数进行拟合得到的结果,Vp={t‑t,...,t‑2,t‑1};

在tc∈(t,t+t)内的视频图像对第t帧图像的视觉滞留影响因素 为:其中, 代表每帧图像的权重,Vc={t,t+1,...,t+t},ε为参数,qn表示qt在t∈(t,t+t)时的视频帧质量分数;

所述视频质量分数预测分量Q1为:

2.根据权利要求1所述的一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:所述双深度学习网络包括并联的InceptionV3网络和ResNet50网络,所述深度特征Ft为:其中, 表示卷积操作,gmean为全局平均池化gmean,gstd为全局标准差池化, 表示在InceptionV3网络下的深度特征映射, 表示在ResNet50网络下的深度特征映射:

3.根据权利要求2所述的一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:所述视频帧质量分数qt为:

其中,ωt为视频帧质量信息的权重,bt为视频帧质量信息的偏差参数, 表示视频内每一帧图像It在通过双向门控循环网络后所得特征:其中,BiGRU(×)表示双向门控循环网络操作,ANN(×)表示ANN网络的降维操作;

所述ANN网络包含两个全连接层和一个dropout层。

4.根据权利要求3所述的一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:所述视频质量分数预测分量Q2为:

其中,qc为经过平均值池化操作后所得特征,L为经过双向GRU处理后的特征维度,T为视频中总图像数;μc和sc分别为当前整个视频中所有帧经过平均值池化所得特征的均值和方差。

5.根据权利要求4所述的一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:所述视频质量分数Q为:

其中,r为调节因子,范围限制在0到1内。

6.根据权利要求5所述的一种融合双深度学习网络的无参考视频质量评价方法,其特征在于:所述无参考视频质量评价网络的训练过程为:

获取KoNViD‑1K数据库和LIVE‑VQC数据库中的视频并随机划分为60%、20%和20%,分别作为训练集、验证集和测试集;将训练集和验证集输入无参考视频质量评价网络进行训练,损失函数采用L1损失函数,优化方法采用Adam优化方法,其中学习率和训练时的步长设置为0.00001和16,在验证集上获得最大斯皮尔诺曼秩系数为目的进行1000次迭代优化,得到训练好的无参考视频质量评价网络;然后将测试集均随机划分输入训练好的无参考视频质量评价网络,以斯皮尔诺曼秩系数、皮尔逊系数作为视频质量预测评价指标,并将10次测试的平均值和标准差作为最终的测试结果,从而验证了在线使用的无参考视频质量评价网络。