利索能及
我要发布
收藏
专利号: 202310445621X
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-13
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成式对抗网络的虚拟视点质量增强方法,其特征在于,包括以下步骤:步骤1.1、分析网络和视频特征与虚拟视点质量的关联性;

步骤1.2、设计虚拟视点质量增强流程框架;

步骤1.3、构建基于生成式对抗网络的虚拟视点质量增强模型;

所述步骤1.1具体包括以下步骤:

2.1、分析造成虚拟视点失真的原因有压缩编码、背景区域去遮挡、非视点重合区域以及深度信息不准确;

2.2、建立虚拟视点失真评估准则C,其公式为C=f(pvideo(dtexture,ddepth,dsynthesis),pnetwork(v,b,d)),其中,pvideo(·)表示视频特征参数,dtexture(·)表示纹理图编码失真,ddepth(·)表示深度图编码失真,dsynthesis(·)表示虚拟视点合成过程失真;pnetwork(·)表示网络特征参数,v表示网络数据传输速率,b表示网络信道带宽,d表示网络数据总时延;

所述步骤1.2具体包括以下步骤:

3.1、通过对原始纹理图和深度图进行编解码和视点合成,获得待增强的低质量虚拟视点;

3.2、基于虚拟视点失真评估准则C,对所述步骤3.1获得的低质量虚拟视点以及高质量虚拟视点数据集进行预处理;

3.3、构建生成网络、判别网络,定义损失函数,完成虚拟视点质量增强模型的搭建;

3.4、利用训练好的虚拟视点质量增强模型将低质量虚拟视点重建为高质量虚拟视点;

所述步骤1.3具体包括以下步骤:

4.1、将1个生成网络模块、1个判别网络模块以及1个损失反馈模块组合成虚拟视点质量增强模型;

4.2、将1个64通道3×3卷积核的卷积层和16个残差单元组合成生成网络模块;

4.3、将包含3×3大小卷积核、BN层以及Leaky ReLU激活函数的6组卷积层组合成判别网络模块;

4.4、将衡量像素级损失的均方误差LMSE、衡量图像画面品质客观差异的LPSNR、衡量图像风格的感知损失LP以及衡量判断结果和真实图像交叉熵的对抗损失LA组成生成网络的损失函数LG,其公式为LG=λMSELMSE+λPSNRLPSNR+λPLP+λALA,其中,λMSE、λPSNR、λP和λA是生成网络模型训练过程中的参数, 其中,W、H、C分别为图像的宽度、高度和通道数,其中,MSE是均方误差损失LMSE,

其中,φm,n表示VGG19网络中第m个池化层前、第n个卷积层的特征分布,φm,n(Io)是原始高质量虚拟视点图像的特征分布,φm,n(Iy)是生成网络生成的“以假乱真”的高质量虚拟视点图像的特征分布,Wm,n和Hm,n是该特征的尺寸;

4.5、通过计算原始高质量虚拟视点为真以及“以假乱真”的低质量虚拟视点为假的概率,获得判别网络的损失函数,其公式为LD=‑log(D(Io))‑log(1‑D(G(Ix))),其中,Ix为压缩视频合成后的低质量虚拟视点图像,Io为原始高质量虚拟视点图像,G(·)表示生成网络模块生成的图像,D(·)表示判别网络模块判断生成图像为真实图像的概率。