1.一种基于多重水印融合与跨域学习的图像伪造主动防御方法,其特征在于,包括以下步骤:S1.获取待处理图像 ;
S2.待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入,分别得到嵌入不可见水印的图像和嵌入可见水印的图像;
所述水印编码器包括不可见水印嵌入模块和可见水印注入模块,具体为:S21.不可见水印嵌入模块:待处理图像 经过颜色空间转换从RGB色彩空间转换到Lab色彩空间,得到转换后的图像 ,公式表示如下:,
其中, 表示从RGB色彩空间转换到Lab色彩空间的操作;转换后的图像中L通道的特征 经过U‑net网络的编码器部分进行特征提取,得到L通道的特征图 ;对待处理图像 进行转换,得到128位的二值化比特流,作为水印信息 ,水印信息 经过扩充和形状变化转化为与L通道尺寸匹配的扰动信息,得到水印特征 ;将水印特征 通过扩散模型注入到L通道的特征图 中,得到融合特征 ,公式表示如下:,
,
其中, 表示水印特征的扰动,表示调节因子, 表示元素级乘法,表示相乘操作;将融合特征 连接转换后的图像 的a通道和b通道,得到完整的Lab色彩空间图像 ;
将完整的Lab色彩空间图像 从Lab色彩空间转化回RGB色彩空间,得到嵌入不可见水印的图像 ,公式表示如下:,
其中, 表示从RGB色彩空间转换到Lab色彩空间的逆操作;
S22.可见水印嵌入模块:嵌入不可见水印的图像 经过可见水印注入模块加入随机噪声,得到嵌入可见水印的图像 ;
S3.嵌入不可见水印的图像经过噪声层进行处理,得到噪声图像;
所述噪声层包括通用图像处理模块、深度伪造通用建模模型和深度伪造模型;嵌入不可见水印的图像 经过噪声层随机选择通用图像处理模块、深度伪造通用建模模型和深度伪造模型三部分中的一个进行处理,得到噪声图像 ;
所述通用图像处理模块包括JPEG压缩、裁剪、高斯滤波、中值滤波、亮度调整、对比度调整、饱和度调整、高斯噪声、椒盐噪声;
在深度伪造通用建模模型中,嵌入不可见水印的图像 进入噪声层,经过深度伪造通用建模模型得到噪声图像 ,公式表示如下:,
其中, 表示将面部核心区域凸包和面部非核心区域凸包作为掩码;
所述深度伪造模型包括换脸模型SimSwap和属性编辑模型StarGAN;
S4.嵌入可见水印的图像经过噪声层进行处理,通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识,用于判断图像是否经过深度伪造;
具体地,嵌入可见水印的图像 经过噪声层中的通用图像处理模块和深度伪造模型,然后经过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识;
S5.噪声图像经过水印解码器进行图像的溯源和检测,判断图像的真实性;
S6.进行损失函数监督训练。
2.根据权利要求1所述的基于多重水印融合与跨域学习的图像伪造主动防御方法,其特征在于,步骤S1,从图像数据集和视频数据集中获取待处理图像 。
3.根据权利要求2所述的基于多重水印融合与跨域学习的图像伪造主动防御方法,其特征在于,步骤S5具体为:所述水印解码器包括溯源解码器和检测解码器;
噪声图像 经过溯源解码器得到溯源解码的二进制比特流水印 ;噪声图像经过检测解码器得到检测解码的二进制比特流水印 ;计算 与 的溯源误码率,当溯源误码率小于2%时,认定图像的来源是可信的;计算 与 的检测误码率,当检测误码率大于5%,认定图像是经过伪造的。
4.根据权利要求3所述的基于多重水印融合与跨域学习的图像伪造主动防御方法,其特征在于,步骤S6具体为:不可见水印嵌入过程中,采用跨域鲁棒性隐写约束,跨域鲁棒性隐写约束损失函数公式表示如下:,
其中,表示选择2D傅里叶频谱中心的 区域的低通滤波器,表示傅里叶变换函数,表示不可见水印,由 得到,表示跨域鲁棒性隐写约束损失;
为了使得嵌入可见水印的图像产生警示标识,设计如下生成对抗网络正则化损失函数,公式表示如下:,
其中, 表示标识符号,SSIM表示结构相似性函数;将生成对抗网络正则化损失函数直接加入到换脸模型SimSwap和属性编辑模型StarGAN的训练过程中,经过生成对抗网络模型GAN的损失正则化后的损失函数为 ,其中, 表示生成对抗网络模型的原始损失函数,表示正则化参数;
水印编码器损失函数公式表示如下:
,
其中, 表示水印编码器损失, 表示欧几里得函数, , 分别表示计算 和 以及 和 之间的欧几里得距离;
在水印解码器中,溯源解码器损失函数公式表示如下:,
其中, 表示欧几里得函数,表示水印信息, 表示溯源解码的二进制比特流水印;检测解码器损失函数公式表示如下:,
其中, 表示检测解码的二进制比特流水印;
在噪声层的深度伪造模型中,设计检测解码器针对深度伪造模型的处理操作的损失函数,公式表示如下:,
其中, 表示检测解码的二进制比特流水印;
判别器接受待处理图像 和嵌入可见水印的图像 ,通过损失函数来区分待处理图像和加水印的图像,判别器损失函数如下:,
其中, 表示判别器损失,表示判别器; 表示判别器对原始图像判别为真的概率对数的期望, 表示判别器对加水印图像判定为假的概率的对数的期望。
5.根据权利要求4所述的基于多重水印融合与跨域学习的图像伪造主动防御方法,其特征在于,面部核心区域凸包和面部非核心区域凸包获取过程为:通过现有的人脸检测模型对待处理图像 进行面部关键点位置信息标注,得到对应的人脸关键点信息;
基于提取到的面部关键点,提取面部核心区域的凸包,包括左眼睛、右眼睛、左眼眉、右眼眉、鼻子、嘴巴;再提取面部非核心区域的凸包,包括左脸颊、右脸颊和额头。
6.一种应用权利要求1所述的基于多重水印融合与跨域学习的图像伪造主动防御方法的系统,其特征在于,包括:图像获取模块:用于获取待处理图像;
水印嵌入模块:用于将待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入,分别得到嵌入不可见水印的图像和嵌入可见水印的图像;
噪声图像生成模块:用于对嵌入不可见水印的图像经过噪声层进行处理,得到噪声图像;
警示标识生成模块:用于对嵌入可见水印的图像经过噪声层进行处理,通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识;
溯源检测模块:用于对噪声图像经过水印解码器进行图像的溯源和检测,判断图像的真实性;
训练模块:用于进行损失函数监督训练。