1.一种用于动作迁移的视频生成神经网络的训练方法,其特征在于,所述方法包括:将源视频和目标图像输入所述视频生成神经网络进行处理,生成目标视频;
将所述目标视频和所述源视频中的源图像输入所述视频生成神经网络进行处理,生成重建视频;
基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个,对所述视频生成神经网络的网络参数进行调整。
2.根据权利要求1所述的方法,其特征在于,所述将源视频和目标图像输入所述视频生成神经网络进行处理,生成目标视频,包括:利用所述视频生成神经网络对所述源视频进行特征提取,得到所述源视频的运动特征;
通过所述视频生成网络对所述目标图像进行特征提取,得到所述目标图像的静态外形特征;
利用所述视频生成神经网络基于所述源视频的运动特征和所述目标图像的静态外形特征,生成目标视频。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个,对所述视频生成神经网络的网络参数进行调整,包括:通过分类网络确定所述目标视频中的图像的预测类别;
通过所述分类网络确定所述目标图像的预测类别;
基于所述目标视频中的图像的预测类别与所述目标图像的预测类别之间的差异,得到第一损失;
基于所述第一损失,调整所述视频生成神经网络的网络参数。
4.根据权利要求1~3任一所述的方法,其特征在于,所述基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个,对所述视频生成神经网络的网络参数进行调整,包括:获取用于表示所述源视频与重建视频之间误差的循环一致性损失;
基于所述循环一致性损失,调整所述视频生成神经网络的网络参数。
5.一种用于动作迁移的视频生成方法,其特征在于,所述方法包括:获取源视频和目标图像;
对所述源视频进行特征提取,得到所述源视频的运动特征,并对所述目标图像进行特征提取,得到所述目标图像的静态外形特征;
基于所述源视频的运动特征和所述目标图像的静态外形特征,生成目标视频。
6.根据权利要求5所述的方法,其特征在于,所述对所述源视频进行特征提取,得到所述源视频的运动特征,包括:对所述源视频包含的多帧图像中每帧图像进行特征提取,得到所述每帧图像的特征信息;
基于所述源视频包含的多帧图像中每帧图像的特征信息与所述源视频的第一帧图像的特征信息之间的差异,得到所述每帧图像的运动特征。
7.一种用于动作迁移的视频生成神经网络的训练装置,其特征在于,所述装置包括:视频生成模块,用于将源视频和目标图像输入所述视频生成神经网络进行处理,生成目标视频;
视频重建模块,用于将所述目标视频和所述源视频中的源图像输入所述视频生成神经网络进行处理,生成重建视频;
网络参数调整模块,用于基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个,对所述视频生成神经网络的网络参数进行调整。
8.一种用于动作迁移的视频生成装置,其特征在于,所述装置包括:输入获取模块,用于获取源视频和目标图像;
特征提取模块,用于对所述源视频进行特征提取,得到所述源视频的运动特征,并对所述目标图像进行特征提取,得到所述目标图像的静态外形特征;
视频生成模块,用于基于所述源视频的运动特征和所述目标图像的静态外形特征,生成目标视频。
9.一种电子设备,其特征在于,包括:存储器、处理器,所述存储器用于存储计算机可读指令,所述处理器用于调用所述计算机指令,实现权利要求1至4任一所述的方法,或者实现权利要求5至6任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至4任一所述的方法,或者实现权利要求5至6任一所述的方法。