1.一种人像风格迁移方法,其特征在于,该方法包括以下步骤:
步骤一、获取内容图像:
步骤101、采用摄像机在纯色背景下对人物进行拍摄,获取人物图像;其中,人物图像的大小为A×C个像素点,且A大于C,A和C均为正整数,其中,A表示行,C表示列;
步骤102、计算机对人物图像进行背景和前景分离,得到优化后的二值化人物图像;其中,优化后的二值化人物图像为人物图像;
步骤103、从计算机的背景图像库中选择背景图像;其中,背景图像的大小为A×C个像素点;
步骤104、计算机根据优化后的二值化人物图像,将人物图像中的人物区域与背景图像合成,得到合成人物图像,并将合成人物图像作为内容图像;
步骤二、风格迁移总损失函数的建立:
步骤201、随机生成白噪声图像作为初始的生成图像;
步骤202、选取卷积神经网络VGG19作为原始模型;其中,卷积神经网络VGG19包括16个卷积层和5个池化层,16个卷积层分别为Relu1_1卷积层,Relu1_2卷积层;Relu2_1卷积层,Relu2_2卷积层;Relu3_1卷积层,Relu3_2卷积层,Relu3_3卷积层,Relu3_4卷积层;Relu4_1卷积层,Relu4_2卷积层,Relu4_3卷积层,Relu4_4卷积层;Relu5_1卷积层,Relu5_2卷积层,Relu5_3卷积层,Relu5_4卷积层;
步骤203、计算机获取内容损失,具体过程如下:
步骤2031、将内容图像和初始的生成图像输入原始模型,并设定内容图像经Relu4_1卷积层输出第4_1层内容特征图,内容图像经Relu5_1卷积层输出第5_1层内容特征图;
设定初始的生成图像经Relu4_1卷积层输出第4_1层生成特征图,初始的生成图像经Relu5_1卷积层输出第5_1层生成特征图;其中,第4_1层内容特征图、第5_1层内容特征图、第4_1层生成特征图和第5_1层生成特征图的数量均为N,且N=512;
步骤2032、计算机根据公式 得到第n个第4_1层内容特征图
和第n个第4_1层生成特征图之间的内容损失Ln,4;其中, 表示第n个第4_1层内容特征图中(i,j)处的特征值, 表示第n个第4_1层生成特征图中(i,j)处的特征值,i,j,n均为正整数,且1≤i≤I,1≤j≤J,I表示第4_1层内容特征图或者第4_1层生成特征图的总列数,J表示第4_1层内容特征图或者第4_1层生成特征图的总行数,1≤n≤N;
计算机根据公式 得到第n个第5_1层内容特征图和第n个第
5_1层生成特征图之间的内容损失Ln,5;其中, 表示第n个第5_1层内容特征图中(i′,j′)处的特征值, 表示第n个第5_1层生成特征图中(i′,j′)处的特征值,i′,j′均为正整数,且1≤i′≤I′,1≤j′≤J′,I′表示第5_1层内容特征图或者第5_1层生成特征图的总列数,J′表示第5_1层内容特征图或者第5_1层生成特征图的总行数;
步骤2033、计算机根据公式 得到内容损失Lc;
步骤204、计算机获取风格损失,具体过程如下:
步骤2041、计算机将第一遮罩层覆盖在风格图像上,生成第一遮罩风格图像;计算机将第二遮罩层覆盖在风格图像上,生成第二遮罩风格图像;其中,第一遮罩层中人物区域的透明度设置为100%,第一遮罩层中背景区域的透明度设置为0;第二遮罩层中人物区域的透明度设置为0,第二遮罩层中背景区域的透明度设置为100%,第一遮罩层和第二遮罩层中背景区域均为白色,第一遮罩层中和第二遮罩层中人物区域均为黑色;
步骤2042、计算机将第一遮罩层覆盖在初始的生成图像上,生成第一遮罩生成图像,计算机将第二遮罩层覆盖在初始的生成图像上,生成第二遮罩生成图像;
步骤2043、计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型,且分别经Relu1_1卷积层、Relu2_1卷积层、Relu3_1卷积层、Relu4_1卷积层和Relu5_1卷积层输出的特征图进行风格损失的获取方法相同,其中,对经Relu c_1卷积层输出的特征图进行风格损失的获取,具体过程如下:步骤20431、设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu c_1卷积层输出第c_1层第一遮罩风格特征图、第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图;且第c_1层第一遮罩风格特征图,第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图的数量均为Nc;其中,c为正整数,且1≤c≤5;
步骤20432、计算机获取Nc个第c_1层第一遮罩风格特征图的格拉姆矩阵 且中第ac行第bc列元素值记作 且 表示Nc个第c_1层第一
遮罩风格特征图中第ac个第c_1层第一遮罩风格特征图和第bc个第c_1层第一遮罩风格特征图之间的互相关程度,ac和bc均为正整数,且1≤ac≤Nc,1≤bc≤Nc;
获取Nc个第c_1层第二遮罩风格特征图的格拉姆矩阵 且 中第ac行第bc列元素值记作 且 表示Nc个第c_1层第二遮罩风格特征图中第
ac个第c_1层第二遮罩风格特征图和第bc个第c_1层第二遮罩风格特征图之间的互相关程度;
获取Nc个第c_1层第一遮罩生成特征图的格拉姆矩阵 且 中第ac行第bc列元素值记作 且 表示Nc个第c_1层第一遮罩生成特征图中第
ac个第c_1层第一遮罩生成特征图和第bc个第c_1层第一遮罩生成特征图之间的互相关程度;
获取Nc个第c_1层第二遮罩生成特征图的格拉姆矩阵 且 中第ac行第bc列元素值记作 且 表示Nc个第c_1层第二遮罩生成特征图中第
ac个第c_1层第二遮罩生成特征图和第bc个第c_1层第二遮罩生成特征图之间的互相关程度;
步骤20433、计算机根据公式
得到第c_1层生成特征图的风格损失Ls,c‑1;
步骤20434、计算机根据公式 得到风格损失Ls;
步骤205、计算机根据公式 得
到总变差正则化损失Ltv;其中,Ri″,j″、Gi″,j″和Bi″,j″表示初始的生成图像中(i″,j″)像素坐标处的R分量、G分量和B分量,Ri″,j″+1、Gi″,j″+1和Bi″,j″+1表示初始的生成图像中(i″,j″+1)像素坐标处的R分量、G分量和B分量,Ri″+1,j″、Gi″+1,j″和Bi″+1,j″表示初始的生成图像中(i″+1,j″)像素坐标处的R分量、G分量和B分量,i″,j″均为正整数,且1≤i″≤C,1≤j″≤A;
步骤206、计算机根据公式 得到正则惩罚项Lm;其中,e为正整
数,且e取值为1,2和3,当e=1,表示初始的生成图像的R通道,V1(o)表示初始的生成图像的R分量矩阵经PCA降维的向量化;当e=2,表示初始的生成图像的G通道,V2(o)表示初始的生成图像的G分量矩阵经PCA降维的向量化;当e=3,表示初始的生成图像的B通道,V3(o)表示初始的生成图像的B分量矩阵经PCA降维的向量化,MI表示内容图像的拉普拉斯矩阵;
步骤207、计算机根据公式Ltotal=αLc+ρLs+γLtv+Lm,得到总损失函数Ltotal;其中,α表示内容损失的加权系数,ρ表示风格损失的加权系数,γ表示总变差正则化损失的权重;
步骤三、生成图像的迭代优化:
步骤301、计算机采用梯度下降算法,利用总损失函数对初始的生成图像进行迭代优化;
步骤302、重复步骤301迭代优化直至满足迭代优化预设次数,得到风格迁移图像。
2.按照权利要求1所述的一种人像风格迁移方法,其特征在于:步骤102中计算机对人物图像进行背景和前景分离,得到优化后的二值化人物图像,具体过程如下:步骤1021、计算机调取二值化模块对人物图像进行二值化处理,得到二值化人物图像;
其中,二值化人物图像的背景为白色,二值化人物图像中人物区域为黑色;
步骤1022、计算机调取腐蚀模块对二值化人物图像进行腐蚀处理,得到腐蚀后的二值化人物图像;
步骤1023、计算机调取膨胀模块对腐蚀后的二值化人物图像进行膨胀处理,得到优化后的二值化人物图像。
3.按照权利要求1所述的一种人像风格迁移方法,其特征在于:步骤104中计算机根据优化后的二值化人物图像,将人物图像中的人物区域与背景图像合成,得到合成人物图像,具体过程如下:步骤1041、计算机调取CNNY边缘提取模块对优化后的二值化人物图像进行边缘提取,得到人物区域轮廓;
步骤1042、计算机将人物区域轮廓所围设的区域标记为人物区域,并获取人物图像中所对应的人物区域各个像素点的像素坐标与RGB三分量值;其中,按照从左到右从上到下的顺序,将人物区域中第a个像素点的像素坐标记作(ua,va),第a个像素点的像素坐标(ua,va)处的红色分量记作Reda,第a个像素点的像素坐标(ua,va)处的蓝色分量记作Bluea,第a个像素点的像素坐标(ua,va)处的绿色分量记作Greena,ua表示第a个像素点的列坐标,va表示第a个像素点的行坐标,a为正整数;
步骤1043、计算机将背景图像中第a个像素点的像素坐标(ua,va)处的红色分量、蓝色分量、绿色分量分别替换为Reda、Bluea和Greena,直至完成人物区域所有像素点的替换,得到合成人物图像。
4.按照权利要求1所述的一种人像风格迁移方法,其特征在于:步骤201中初始的生成图像的大小和内容图像的大小相同,初始的生成图像为RGB彩色图像,且初始的生成图像上的白噪声服从正态分布。
5.按照权利要求1所述的一种人像风格迁移方法,其特征在于:步骤202中16个卷积层的激活函数均为ReLU激活函数,16个卷积层的内核大小均为3×3,16个卷积层的步长均为
1,5个池化层的内核大小均为2×2,5个池化层的步长均为2。
6.按照权利要求1所述的一种人像风格迁移方法,其特征在于:步骤207中内容损失的加权系数α的取值为0~2,风格损失的加权系数ρ的取值为0~1000,总变差正则化损失的权重γ的取值为100~110;
步骤301中梯度下降算法中学习率α′的取值为0<α′<1;
步骤302中迭代优化预设次数为2000次~2100次。