利索能及
我要发布
收藏
专利号: 2022113575980
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于Transformer和去噪扩散模型的鲁棒水印方法,其特征在于,方法包括以下步骤:将载体图像离散小波变换后与原始水印输入由Transformer组成的水印编码器中,经过逆离散小波变换后生成嵌入水印的编码图像;

所述生成嵌入水印的编码图像的过程包括以下步骤:

将载体图像 离散小波变换后,分割为不重叠的图像块,并根据图像块内容通过线性投影生成图像块嵌入 ,同时按照图像块的顺序生成位置嵌入 ,将原始水印 线性投影为水印嵌入 ,将 、 和 三者相加后得到图像嵌入 ,再将 输入基于Transformer的水印编码器中计算,生成水印掩码 ,将 加到 之上,得到编码图像 ;

其中, 表示经过12个Transformer块运算,表示嵌入强度因子;

将嵌入水印的编码图像和原始水印分三路输入无噪声层、已知噪声层和基于去噪扩散模型的未知噪声层,生成噪声图像;

所述生成噪声图像的过程包括以下步骤:

所述无噪声层 不对输入的编码图像做任何改动,直接输出为无噪声图像 ;

所述已知噪声层中包括高斯模糊、高斯噪声、模拟可微JPEG压缩、真实不可微JPEG压缩、裁剪、旋转和放缩,一共7种常见噪声,添加到编码图像IE之上生成已知噪声图像 ;

其中,表示一种已知噪声,  表示高斯模糊, 表示高斯噪声, 表示模拟可微JPEG压缩, 表示真实不可微JPEG压缩, 表示裁剪, 表示旋转, 表示放缩;

所述基于去噪扩散模型的未知噪声层在正向过程中,对编码图像逐步添加服从正态分布的高斯噪声,经过 个采样步后,直到整张编码图像成为服从正态分布的高斯噪声;在逆向过程中,从随机生成的服从正态分布的高斯噪声出发,使用添加注意力机制的U‑Net预测上一采样步编码图像的均值和方差,并通过重参数化技巧采样出上一采样步图像,经过 个采样步后,预测出编码图像,并通过均方差损失和相对熵损失更新添加注意力机制的U‑Net的网络参数;重复以上步骤,直到经过设定的训练次数,得到具有图像生成能力的添加注意力机制的U‑Net模型;最后在采样过程中,随机生成一组服从正态分布的高斯噪声 ,输入添加注意力机制的U‑Net模型,在引导函数 的引导下,经过 个采样步后,生成未知噪声图像 ,公式如下;

其中, 表示原始水印 的相反水印, 、 表示权重, 表示计算均方差损失,表示采样过程中第 个采样步时的噪声图像,表示采用水印解码器计算水印,表示在第 个采样步到第 个采样步之间的某个采样步, 表示采样过程中第 个采样步时的噪声图像,表示从数据分布中采样, 表示均值为 且方差为 的高斯分布,和 表示添加注意力机制的U‑Net预测出的均值和方差,表示引导函数 的权重,表示对于 计算梯度, 表示采样过程中第 个采样步时的噪声图像;

将噪声图像离散小波变换后输入由Transformer组成的水印解码器中,得到提取水印;

所述得到提取水印的过程包括以下步骤:

将噪声图像离散小波变换后,生成图像块嵌入,同时按照图像块的顺序生成位置嵌入,相加后输入基于Transformer的水印解码器;基于Transformer的水印解码器包括若干个Transformer块,并在最后一个Transformer块之后采用全局平均池化,最后经过全连接层输出提取的水印;将噪声图像 输入水印解码器 ,输出提取水印 ,如下式:根据载体图像和编码图像、原始水印与提取水印,计算损失函数,并采用随机梯度下降方法更新水印编码器和解码器的参数;

重复以上步骤,直到满足设定的训练次数,水印编码器和水印解码器训练完毕,保留水印编码器和水印解码器分别用于水印的嵌入和提取。

2.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法,其特征在于,所述原始水印 由二进制字符串构成。

3.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法,其特征在于,所述噪声图像 包括无噪声图像 、已知噪声图像 和未知噪声图像 ;在训练过程中,对于每一个最小批分为9组,每组包含一种噪声,使得一个最小批同时拥有无噪声、7种已知噪声和未知噪声类型,以加速模型收敛。

4.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法,其特征在于,计算损失函数,并采用随机梯度下降方法更新水印编码器和解码器参数的过程包括以下步骤:根据载体图像和编码图像、原始水印与提取水印,分别计算出嵌入损失函数 、提取损失函数 、小波高频损失函数 、LPIPS感知损失函数 ,以上4种损失加权求和形成总损失函数 ,并采用随机梯度下降方法更新水印编码器和水印解码器的参数;各损失函数如下式:式中, 表示提取经过离散小波变换后的HL、LH和HH子带, 表示使用AlexNet计算载体图像和编码图像的特征图之间的感知距离,  、 、 、 分别表示对各损失函数的权重。

5.根据权利要求1所述的基于Transformer和去噪扩散模型的鲁棒水印方法,其特征在于,所述水印编码器和水印解码器的训练过程包括以下步骤:在训练集中重复训练,直到满足设定的训练次数,保留水印编码器和水印解码器;通过水印编码器将水印嵌入到载体图像,从而生成嵌入水印的编码图像,将编码图像公布使用;

当需要验证版权之时,将待验证图像输入水印解码器,输出提取的水印;若提取的水印与原有水印的误码率小于阈值,则证明版权所有。

6.一种设备,其特征在于,包括:

一个或多个处理器;

存储器,用于存储一个或多个程序;

当一个或多个所述程序被一个或多个所述处理器执行,使得一个或多个所述处理器实现如权利要求1‑5中任一所述的基于Transformer和去噪扩散模型的鲁棒水印方法。

7.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1‑5中任一所述的基于Transformer和去噪扩散模型的鲁棒水印方法。