利索能及
我要发布
收藏
专利号: 2019104490924
申请人: 北方民族大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨域变分对抗自编码方法,其特征在于,包括以下步骤:

1)利用编码器解耦跨域数据的内容编码和风格编码通过编码器分解出图像的内容编码和风格编码,求出对应的后验分布;对于内容编码,引入对抗自编码器AAE;对于风格编码,引入变分自编码器VAE;具体如下:首先,通过编码器分解出图像的内容编码和风格编码,求出对应的后验分布,对于A域的输入XA能够将其表示为内容编码CA和风格编码SA,它们所对应的后验分布 和 分别通过如下公式求解:

式中,PA为A域的数据分布;

对于B域,其内容编码CB和风格编码SB的后验分布 和 分别由如下公式求解:式中,PB为B域的数据分布,XB为B域的输入;

2)利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码对于图像的内容编码,引入对抗自编码器AAE,并通过域标签和类别标签的对抗来拟合内容编码的后验分布;对于图像的风格编码,引入变分自编码器VAE,通过KL散度使风格编码的后验分布与先验分布趋于一致;其中,对于风格编码,引入变分自编码器VAE,通过KL散度使A域风格编码的后验分布 与先验分布 趋于一致,并以L(θ,φ,XA)作为下界约束进一步保证后验分布对先验分布的拟合,其中θ和φ分别代表生成参数和变分参数,XA为A域的输入,同理,B域风格编码的后验分布 与先验分布 趋于一致,并以L(θ,φ,XB)作为下界约束进一步保证后验分布对先验分布的拟合,XB为B域的输入;则针对A域和B域风格编码的VAE损失 和 由如下公式求解:式中,Dkl(*)为KL散度;

内容编码作为跨域数据的公共属性,包含了信息丰富的语义特征,编码相对复杂,因此,选用对抗自编码器AAE并通过域标签和类别标签的对抗来拟合内容编码的后验分布;对于A域的内容编码CA,构建对抗损失让内容编码的先验分布 和后验分布 通过对抗进行拟合,同理,对于B域的内容编码CB,构建对抗损失让内容编码的先验分布 和后验分布通过对抗进行拟合;则A域和B域内容编码的对抗损失 和 由如下公式求解:

3)通过拼接内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换。

2.根据权利要求1所述的一种跨域变分对抗自编码方法,其特征在于:在步骤3)中,输入A域图像XA,基于对其拟合的内容编码后验分布 和风格编码后验分布 解码能够生成重构图像X'A,则X'A应能真实还原XA,同理,输入B域图像XB,基于对其拟合的内容编码后验分布 和风格编码后验分布 解码能够生成重构图像X'B,则X'B应能真实还原;于是构建了如下公式重构损失Lrec: