利索能及
我要发布
收藏
专利号: 2024116422933
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种内容图像对象分离的风格迁移方法,其特征在于,包括如下步骤:步骤1、提取目标图像的风格图像和内容图像,将风格图像输入显著目标检测模块,区分风格图像的主体对象与背景对象;

步骤2、基于内容图像中场景与主体多而杂、相同主体处于相同深度的特点,构建深度估计机制,将内容图像输入深度估计模块,再根据摄影图像拍摄自不同相机模型的模糊性,构建标准相机空间变换,利用标准相机变换与去标准化操作估计内容图像中的深度信息,实现分离内容图像为兴趣区域图像与非兴趣区域图像;

步骤3、对于风格图像主体对象,基于其纹理特征明显的特点,以傅里叶变换与深度卷积特征通道的风格分离属性为基础,提取风格图像主体对象的风格特征,并设计不透明度敏感的损失函数,对主体对象的迁移结果进行训练,得到风格化主体对象迁移结果;

步骤4、对与风格图像背景对象,基于其颜色单一的特点,结合内容非兴趣对象包含复杂对象的特点,以背景散焦与自适应实例归一化为基础,调整内容非兴趣对象的清晰度与风格信息,以得到风格化背景对象迁移结果;

步骤5、将风格化主体对象迁移结果和风格化背景对象迁移结果进行合并,实现目标图像的对象分离的风格迁移。

2.根据权利要求1所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤1具体包括如下步骤:步骤101、使用显著性检测网络   对风格图像   进行处理,获得显著性图  ,用于表示每个像素值属于主体的概率,公式如下:步骤102、根据步骤101得到的显著性图  ,将风格图像S分离为主体部分   与背景部分  ,公式如下:其中, 表示逐元素相乘。

3.根据权利要求1所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤2具体包括如下步骤:步骤201、对输入的内容图像   进小波分解,得到低频分量   与高频分量  ,公式如下:其中   表示小波变换,对高频分量  应用非局部均值方法进行降噪,得到降噪后的高频分量  ,公式如下:其中,权重   根据像素块的相似度计算;

将低频分量   与降噪后的高频分量   进行小波逆变换,得到增强后的图像 :步骤202、将步骤 101 得到的增强后图像  转换到标准相机空间,以消除由于不同相机模型带来的度量模糊性,标准相机变换表示为:其中, 表示标准相机空间变换操作,  表示标准相机模型图像;

步骤203、在标准相机空间中,对步骤 202 得到的标准相机模型图像   进行深度估计,得到标准化深度图  ,公式如下:其中, 表示深度估计模型,  表示内容图像   的深度信息;

步骤204、进行归一化操作,以减小误差,公式如下:其中, 表示归一化操作,  与  分别表示深度信息   中的最小值与最大值;

步骤205、基于步骤204中归一化后的深度信息  ,结合用户输入,将原内容图像  划分成兴趣区域与非兴趣区域 , 创建掩膜   与对应的   通道掩膜  ;

步骤206、将基于步骤 205 中得到的四种掩膜应用于增强后的内容图像上,得到内容兴趣图像   与内容非兴趣图像  。

4.根据权利要求3所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤

205中,所述通道掩膜  公式如下:

以 表示内容图像划分区域的个数, 表示兴趣区域掩膜:表示对应兴趣区域掩膜的   通道掩膜:

表示非兴趣区域掩膜:

表示对应非兴趣区域掩膜的   通道掩膜:

5.根据权利要求3所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤

206中,所述内容兴趣图像   与内容非兴趣图像  ,公式如下:其中, 表示逐元素相乘, 表示拼接操作。

6.根据权利要求1所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤3具体包括如下步骤:步骤301、对步骤 1 中获得的风格主体对象 与步骤2中获得的内容兴趣图像  进行八度卷积,将其分解为高频与低频分量,公式如下:其中,  和   分别表示内容兴趣图像的高频和低频分量,  和  分别表示风格主体对象的高频和低频分量;

步骤302、使用风格特征提取器   提取步骤 301 中得到的风格主体对象的风格特征,并通过核预测网络预测相应的卷积核与偏置,公式如下:其中,  与   为卷积与偏置预测网络,  表示从高频风格主体对象中预测获得的卷积核与偏置,  表示从低频风格主体对象中预测获得的卷积核与偏置;

步骤303、内容兴趣图像的高频和低频分量与步骤 302 中预测的卷积核和偏置结合,在生成器 中进行风格迁移得到风格化主体对象 ,公式如下:步骤304、基于步骤 303 得到的风格化主体对象,计算损失函数   并进行反向传播更新卷积与偏置预测网络 和风格迁移生成器  ,公式如下:其中, 分别表示内容损失函数,风格损失函数,不透明度损失函数,是超参数,用于分别表示三个损失函数在总损失函数中的含量。

7.根据权利要求6所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤

304中,所述内容损失函数 用于确保风格化后的图像保持与原始内容图像相似的结构和细节,其公式如下:其中, 表示预训练的 VGG 特征提取网络;

所述风格损失函数 用于确保风格化后的图像能够捕捉并重现风格图像的纹理和风格特征,其公式如下:其中,表示Gram矩阵,  表示第 层特征图;

所述不透明度损失函数   用于确保风格迁移网络对图像中不透明度信息的敏感性,同时使用正负样本提升风格迁移的美学效果,其公式如下:其中, 表示利用生成器   的第   层输出特征图的高频部分, 表示利用生成器   的第   层输出特征图的低频部分,  表示生成器生成的第   张风格化主体对象,  表示   的   通道,  表示第  个正样本,  表示第   个负样本。

8.根据权利要求1所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤4具体包括如下步骤:步骤401、使用高斯模糊对内容非兴趣对象应用散焦处理,使其与风格背景对象的单一颜色特点更加匹配,公式如下:其中,  是模糊后的内容非兴趣对象,  是原始内容非兴趣对象,是高斯模糊的标准差,控制模糊程度;

步骤402、预训练的神经网络VGG 19对步骤 401中模糊后的内容非兴趣对象进行提取风格背景对象特征提取,这些特征用于指导内容非兴趣对象的风格迁移,公式如下:其中,  是从风格背景对象   中提取的特征, 表示预训练的特征提取网络 VGG19;

步骤403、结合内容非兴趣对象与风格背景对象的特征,使用自适应实例归一化 AdaIN调整步骤402中获得的内容非兴趣对象的风格;

其中,和 分别表示均值和标准差计算, 表示风格背景对象的特征, 表示风格化背景对象。

9.根据权利要求8所述的一种内容图像对象分离的风格迁移方法,其特征在于,步骤5具体为:将风格化主体对象与风格化背景对象进行最终的合并操作,公式如下:其中, 表示主体对象的掩膜,表示单位矩阵, 表示最终的风格迁移结果。

10.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1所述方法的步骤。