利索能及
我要发布
收藏
专利号: 2023102671673
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于UV空间变换的人体图像生成方法,其特征在于,包括以下步骤:制作训练数据集,并从中提取训练数据的源人物图像和源人物姿态,进而通过变换得到源人物UV纹理图和源人物姿态纹理图;对所述源人物UV纹理图和源人物姿态纹理图进行拆分,各对应依次拆分成M个部分,得到各身体部分的源人物UV纹理图和源人物姿态纹理图,将每一身体部分都使用源人物UV纹理图填充目标姿态纹理图和源人物UV纹理图共有的像素来得到不完整的目标UV纹理图;

将得到的各身体部分的源人物UV纹理图和目标姿态纹理图以及不完整的目标UV纹理图输入流场预测模型中学习一个流场,得到流场坐标;

根据得到的所述流场坐标变换源人物UV纹理特征,得到预测的目标人物纹理特征;

根据得到的所述预测的目标人物纹理特征,将其与预设的目标姿态特征一同传入特征细化模块,得到细化纹理特征,同理,得到M个部分的细化纹理特征;

根据得到的细化纹理特征,将M个部分的细化纹理特征传入主干网络和源人物的UV纹理特征一同经过解码器得到第一阶段预测的目标人物UV纹理图 ;

将得到的所述第一阶段预测的目标人物UV纹理图 与目标人物姿态一同经过变换,还原到无背景的目标人物图像 ;

将无背景的目标人物图像和目标人物姿态通过背景重构模型得到完整的目标人物图像 。

2.根据权利要求1所述的一种基于UV空间变换的人体图像生成方法,其特征在于:所述将得到的各身体部分的源人物UV纹理图、目标姿态纹理图以及不完整的目标UV纹理图输入流场预测模型中进行流场学习,得到位置坐标的偏移量的具体方法为:流场的学习需要通过采样正确性损失来监督,损失函数具体表示为:;

其中, 表示采样正确性损失函数, 表示流场, 表示每个部位的特征, 表示特征的尺度个数, , ; 是一个函数,用于计算经过流场变换后的特征与目标特征之间的余弦相似性,表示为:;

其中,N表示特征图中的N个位置; 和 分别表示使用VGG网络提取的源人物图像以及目标人物图像的特征,并使用 表示特征 经过流场F变换后的结果;

和 表示位置p处的 和 的特征; 是特征图中所有位置的坐标集合; 为归一化项,由公式 获得。

3.根据权利要求2所述的一种基于UV空间变换的人体图像生成方法,其特征在于:包括对流场学习中自由度的进行几何约束流约束,所述几何约束流的公式为:;

其中, 表示几何约束流, , ,

, 表示流场维度的大小, 、 分别表示流场的x轴方向和y轴方向的坐标偏移矩阵;在矩阵A中, , ,其余的元素都为0;在矩阵B中,,其余的元素都为0;在矩阵C中, ,其余的元素都为0;其中,; 表示矩阵的frobenius范数; 表示一个元素值都为1的矩阵。

4.根据权利要求1所述的一种基于UV空间变换的人体图像生成方法,其特征在于:所述根据得到的所述流场坐标变换源人物UV纹理特征,得到预测的目标人物纹理特征的具体方法为:使用第一编码器 提取需要用于流场变换使用的特征 ,提取的特征经过流场变换后得到预测的部分目标UV纹理图的特征。

5.根据权利要求4所述的一种基于UV空间变换的人体图像生成方法,其特征在于:所述得到细化纹理特征的具体方法为:将经流场变换后的预测的部分目标UV纹理图的特征 和三个身体部位输入通过第二编码器 提取的特征 共同传入特征细化模块;特征图 和 分别沿通道方向通过平均池化、最大池化的操作后分别得到一个特征图,然后将四个特征图沿通道方向连接,连接后的四个通道的特征图通过卷积变为一个通道的特征图,再将其经过sigmoid函数后得到一个特征图权重 ;然后用特征图 和特征图权重 相乘得到特征细化模块的输出特征,具体表示如下:。

6.根据权利要求5所述的一种基于UV空间变换的人体图像生成方法,其特征在于:将各身体部分的细化后UV纹理图的特征沿通道连接后传入主干网络和源人物纹理特征一同经过卷积网络得到第一阶段预测的目标人物UV纹理图 ;生成的目标人物UV纹理图采用目标图像的UV纹理图 进行监督,其损失函数表示如下:;

式中, 表示L1损失函数;

使用L1损失函数来监督纹理图的 UV空间变换,这是在像素级别上判断两个图像的相似性。

7.根据权利要求1所述的一种基于UV空间变换的人体图像生成方法,其特征在于:所述完整的目标人物图像 中人脸需要进行清晰度处理,处理方法为:将人脸单独提取出来,用目标图像的人脸进行监督,损失函数表示如下:;

其中, 表示生成的人脸和目标人脸的损失函数, 表示裁剪 的人脸,通过目标人物的头部姿态 和完整的目标人物图像 对应提取, 表示真实的目标人物图像, 表示裁剪 的人脸, 为具有预先训练权重的VGG‑19网络的第 层激活特征图; 用于计算生成的人脸和目标人脸的损失。

8.根据权利要求1所述的一种基于UV空间变换的人体图像生成方法,其特征在于:使用对抗损失来约束,提高完整的目标人物图像 的准确度,具体方法为:;

其中, 表示对抗损失函数,D代表鉴别器,用于判断真实图像和生成图像的分布差异;G代表生成器,用于生成虚假的目标图像; 、 以及 分别表示来自目标人物纹理图、目标人物姿态以及真实的目标人物图像 的真实分布;

表示来自生成的目标纹理图虚假分布。

9.根据权利要求1所述的一种基于UV空间变换的人体图像生成方法,其特征在于:使用感知损失函数来监督完整的目标人物图像 和真实的目标人物图像 之间的特征损失,具体表示如下:;

其中, 表示感知损失函数, 表示用预先训练的VGG网络提取第 层的特征,表示使用的VGG网络的层数数量, 表示真实的目标人物图像。