利索能及
我要发布
收藏
专利号: 2020102226101
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向换脸视频检测的视频运动增强方法,其特征在于:包括如下步骤:(1)构建运动增强模型,包括三个部分的卷积神经网络:编码模型、增强模型和重建模型;构建训练数据以及监督信息并训练模型,得到训练后的运动增强模型;

所述编码模型为权值共享的一对卷积神经网络,前后帧分别作为该对卷积神经网络的输入,分别经过一个7×7、3×3的卷积和三个残差模块后分成两个分支,每个分支都包含一个3×3卷积和两个残差模块,其中一支输出形态特征,另一支输出纹理特征,最终分别输出前后两帧图像的形态特征与纹理特征;

所述增强模型接收编码模型输出的两帧形态特征并作差,对形态差异经过一个3×3的卷积后乘以放大倍数,随后再利用一个3×3卷积和残差模块进行处理,将得到的特征与前帧的形态特征叠加得到增强形态特征;

所述重建模型接收编码模型输出的后帧的纹理特征并进行上采样,与增强形态特征叠加后经过9个残差模块、2个3×3卷积,通过7×7卷积复原到原始输入图像的尺寸;

上述三个模型中的每个卷积后都跟随着一个ReLU激活函数层;在训练运动增强模型时端到端地利用反向传播以及随机梯度下降对网络参数进行更新;

构建运动增强模型的训练数据以及监督信息的方法如下:

(1.1)从背景图像数据集MS‑COCO中随机选择n帧图像作为训练样本的背景图像;从前景物体数据集PASCAL‑VOC中随机选取m个物体作为训练样本的前景物体;

(1.2)对所选的m个前景物体的尺寸以及角度作随机扰动;

(1.3)将一个前景物体随机粘贴在一帧背景图像上作为模型输入的前一帧,对该图像中的前景物体向任意角度进行随机距离的位移,得到的图像作为模型输入的后一帧;同时,以同样的角度重复前景物体的位移,但位移距离放大一定倍数,模拟运动增强的实际效果,得到的实际运动增强图像作为模型输出的监督信息;保持样本图像的背景不变,并对前景物体重复上述位移步骤,直至所选的m个前景物体全部处理完成,得到m个训练样本以及监督信息;

或者采用以下操作:对所选择的n帧背景图像,确保编码模型提取到的纹理特征对比度满足预期,将样本图像的背景进行高斯模糊滤波以降低图像背景与前景的边缘对比度;确保运动增强模型学习到全局的运动特征,保持前景物体的位置不变,对样本图像的背景进行位移,得到的图像作为模型输入的后一帧;保持位移角度不变,放大背景的位移距离得到实际运动增强图像,得到运动增强模型的训练数据以及监督信息;

(2)将待运动增强的人脸视频进行逐帧分解,得到一系列帧序列,提取帧序列中的人脸图像并构造帧图像对(fi,fi+1),fi,fi+1分别为第i,i+1帧人脸图像;

提取帧序列中的人脸图像,方法如下:

(2.1)对原始帧图像进行直方图均衡化和高斯滤波平滑预处理;

(2.2)对预处理后的图像进行颜色空间转换,用肤色模型检测图像中的皮肤像素;

首先利用以下公式对像素强度进行变换;

Y=(77/256)R+(150/256)G+(29/256)BCr=(131/256)R‑(110/256)G‑(21/256)B+128Cb=‑(44/256)R‑(87/256)G+(131/256)B+128其中,R,G,B分别表示图像像素在红色、绿色与蓝色通道的强度值,范围从0到255;变换后的颜色空间中,Y表示像素颜色的亮度成分,Cb表示蓝色色度分量,Cr表示红色色度分量;

肤色模型如下所示:

其中,M(i,j)表示二值人脸图像,i,j表示图像中像素的横坐标与纵坐标,Cb(i,j)与Cr(i,j)表示该像素的蓝色色度与红色色度值;根据该肤色模型将包含人脸的图像转变成一个二值图像,白色的区域即为肤色区域;

(2.3)对检测到的肤色区域进行形态学处理;

(2.4)标定出图像中最大块的肤色区域,作为人脸的候选区域;

(2.5)定位出所检测到的人脸区域;

(3)将帧图像对(fi,fi+1)输入编码模型,编码模型分别对输入帧对中的帧图像提取特征,输出两帧图像的形态特征与纹理特征;

(4)将编码模型输出的两帧形态特征输入增强模型,增强模型对两个形态特征图直接求差,得到前后帧的形态特征差异,该形态特征差异乘以放大因子后与前一帧的形态特征相加,得到增强后的形态特征;

(5)将步骤(3)所得后一帧的纹理特征以及步骤(4)所得的增强形态特征输入重建模型,重建模型将这两种特征融合并重建得到预测的第i+1帧的运动增强帧。

2.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法,其特征在于:高斯模糊滤波中使用的计算公式如下:其中,G(u,v)表示高斯模糊滤波器中的元素值,u,v分别表示滤波器的宽与高,σ表示正态分布的标准差。

3.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法,其特征在于:步骤(2.5),利用垂直积分投影方法对人脸候选区域进行判决,根据判决结果裁剪人脸图像区域。