利索能及
我要发布
收藏
专利号: 2024104388787
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于区域风格校正的人物属性编辑方法,其特征在于,包括:基于原始图像制作训练数据集,根据训练数据集里的训练数据提取人物姿态以及人物类别分割图;

根据人物类别分割图分别提取人物的多个类别属性;

根据所述人物的多个类别属性提取属性特征,根据所述人物姿态提取姿态特征;

根据所述属性特征和所述姿态特征进行特征匹配,得到目标人物的粗图像;

根据所述人物的多个类别属性,对其逐个提取源图像风格特征,得到多个类别的源图像风格特征;

由原始图像的特征和姿态特征融合得到特征内容输入;根据所述源图像风格特征对所述特征内容输入进行区域风格补偿得到残差纹理图;

根据所述残差纹理图对所述目标人物的粗图像进风格校正,得到最终目标人物图像;

根据所述人物的多个类别属性提取属性特征,根据所述人物姿态提取姿态特征,根据所述属性特征和所述姿态特征进行特征匹配,得到目标人物的粗图像,包括:利用所产生的多个类别属性提取得到属性特征,并对人物姿态提取得到对应的姿态特征;

将类别属性输入卷积编码器E1来提取类别属性的特征,将人物姿态输入卷积编码器E2来提取人物姿态的姿态特征;

将提取的属性特征和姿态特征作为输入,先对属性特征进行卷积,然后在空间上进行softmax操作得到空间上的权重映射Wt;将空间上的权重映射Wt和属性特征逐元素相乘得到细化的属性特征;

对姿态特征进行卷积后,在通道上对姿态特征进行softmax操作得到通道上的权重映射Wr;将通道上对权重映射Wr和姿态特征逐元素相乘得到细化的姿态特征;

把所述细化的属性特征和细化的姿态特征逐元素相乘得到融合姿态的属性特征;引入残差结构,将融合姿态的属性特征和属性特征相加得到最终的细化特征,表示为:Rt=Ft+Ft⊙Wt⊙Fr⊙Wr;

其中Θ表示各元素乘积,Rt为最终的细化特征,Ft为属性特征,Fr为姿态特征,Wt为属性特征的空间权重映射,Wr为姿态特征的空间权重映射;

对最终的细化特征进行卷积操作得到目标人物的粗图像Ic;

根据所述人物的多个类别属性,对其逐个提取源图像风格特征,得到多个类别的源图像风格特征,包括:将人物的多个类别属性 输入到风格编码器E3后得到各个区域的风格特征表示为:其中风格编码器E3为所有分支共享, 是特征图,b,c,h,w分别表示批量大小、通道、高度、宽度;N为分割图总类别数量,i表示第i个类别; 表示类别为i的类别属性; 表示第i个类别中批量大小为b、通道为c、高度为h、宽度为w的风格特征图;

然后计算各个风格特征的方差,计算公式如下:

其中,H,W为特征图高度、宽度的尺寸大小,i表示第i个类别; 表示第i个类别的风格特征的方差, 表示第i个类别的风格特征的中间系数;使用全连接网络对方差 进行转换,使其匹配细化特征的变换,通过全连接网络对方差进行变换得到风格补偿的仿射参数,转换如下:其中, 表示仿射参数,代表源图像风格特征,MLP表示多层全连接网络的特征转换。

2.根据权利要求1所述的基于区域风格校正的人物属性编辑方法,其特征在于,基于原始图像制作训练数据集,根据训练数据集里的训练数据提取人物姿态以及人物类别分割图,包括:对公开的DeepFashion数据集采用姿态估计算法OpenPose提取训练数据的人物姿态;

所述训练数据包括人物图像;

采用预先训练好的分割网络模型提取训练数据的人物类别分割图,训练数据用于训练基于区域风格校正的人物属性编辑模型;

人物类别分割图将人物图像划分成八个部分:头发、上身衣服、裙子、裤子、脸、上身皮肤、腿和背景;每一部分都对应人物的一个类别属性。

3.根据权利要求2所述的基于区域风格校正的人物属性编辑方法,其特征在于,根据人物类别分割图分别提取人物的多个类别属性,包括:将人物图像Is和类别为i的人物类别分割图 相乘得到类别为i的类别属性 表示为:其中Θ表示Is和 中各元素乘积,N为分割图总类别数量。

4.根据权利要求1所述的基于区域风格校正的人物属性编辑方法,其特征在于,根据所述源图像风格特征,进行区域风格补偿,对所述源图像风格特征进行变换得到残差纹理图,包括:利用仿射参数 缩放归一化内容输入,使内容输入的风格分布与风格特征的分布逐个区域对齐,表示如下:其中,Xt为特征内容输入,由原始图像特征和姿态特征融合得到, 为仿射参数,Regiontexturecompensation()表示逐区域对齐函数,N为分割图总类别数量;

将区域对齐后的结果经过激活函数和卷积后得到残差纹理图Ir;μX表示为特征内容输入的中间系数;σX表示为特征内容输入的方差。

5.根据权利要求1所述的基于区域风格校正的人物属性编辑方法,其特征在于,根据所述残差纹理图对所述目标人物的粗图像进风格校正,得到最终目标人物图像,包括:利用得到的残差纹理图和目标粗图像相加,最后得到最终目标人物图像。

6.根据权利要求1所述的基于区域风格校正的人物属性编辑方法,其特征在于,所述方法还包括:提取所述最终目标人物图像的源图像类别属性特征 监督所述最终目标人物图像的源图像类别属性特征 和源图像类别属性特征 是否一致,若不一致,则调整分割网络模型以及风格编码器的参数,重新生成最终目标人物图像。

7.根据权利要求6所述的基于区域风格校正的人物属性编辑方法,其特征在于,提取所述最终目标人物图像的源图像类别属性特征 监督所述最终目标人物图像的源图像类别属性特征 和原始图像的源图像类别属性特征 是否一致,包括:在得到最终目标人物图像后,利用预先训练好的语义分割网络提取最终目标人物图像的分割图St;

将最终目标人物图像与提取的分割图相乘得到生成图像各类别的区域属性特征提取风格特征并计算第i个类别的源图像类别属性特征 表示为:其中σ表示方差计算,N为分割图总类别数量;目标区域属性的风格采用源图像的区域属性风格监督一致,定义区域风格一致性约束如下:使用损失值 来监督属性风格的一致,利用相似性来监督最终目标人物图像和原始图像的风格一致;

如果损失值 大于预设值,则判断最终目标人物图像和原始图像的风格一致,否则不一致。

8.一种基于区域风格校正的人物属性编辑装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1‑7任一项所述方法的步骤。