利索能及
我要发布
收藏
专利号: 2025102166739
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于稳定扩散模型的生成式不可见水印方法,其特征在于,基于稳定扩散模型Stable Diffusion,在将文本生成图像的过程中嵌入不可见水印,包括以下步骤:首先、输入文本提示/图像提示,依次经分词器和文本编码器处理后,得到嵌入向量表示,即是潜变量 ;

前向扩展过程中,利用所得潜变量 来指导生成图像,先通过变分自编码器VAE中的编码器E将图像转换为低维潜在表示,变分自编码器VAE中的解码器D将低维潜在表示转换为图像;依据低维潜在表示生成潜在噪声,结合潜在噪声和低维潜在表示进行多次迭代生成含噪声图像;

该过程中,利用预训练的水印解码器来微调变分自编码器VAE中的解码器D,从而在生成的图像中嵌入微调后的权重水印;同时,在稳定扩散模型Stable Diffusion生成图像时,使用变分自编码器VAE将图像压缩为潜在噪声,再将所得潜在噪声进行小波变换得到噪声水印,并将噪声水印信息映射为环状图案水印并嵌入到噪声低频子带;

反向扩散过程中,将低维潜在表示输入UNet,UNet收到后进行逐步去除噪声恢复图像;

最后,利用含有水印噪声进行图像生成,得到含水印图像 ;

上述过程中,在生成环状图案水印并嵌入到噪声低频子带时,直接修改潜在噪声的分布特征,向潜在噪声分布上映射水印信息,使得只需将图像重新压缩到噪声空间就可提取水印信息,得到水印向量;具体方法为:步骤1)、根据用户给出的水印形状参数,通过稳定扩散模型Stable Diffusion生成相应形状的水印潜在向量表示,即初始噪声向量;

步骤2)、对生成的水印潜在向量表示进行小波变换,得到低频子带 ,如下式:

表示信号 在尺度因子为 和位移因子为 下的小波系数,反映信号在不同频率和时间位置的特征, 表示小波函数;

步骤3)、基于低频子带和水印参数,更改初始噪声向量的概率分布,然后构造圆环状水印信息m,将其嵌入图像得到含水印图像 ,具体内容为:在多比特水印与圆环图案设计映射函数,每个圆环边界都会被赋予不同的特殊值,环状水印由多个同心圆构成,将对低频子带上固定位置上的数值进行修改,使其呈现环状图案,并且,将多比特水印分别对应每一个圆形图案,半径为1到R的圆环对应1到R的多比特水印,根据设计的二进制掩码对分解后的低频向量进行采样,掩码中嵌入水印位置值为1,其他位置为0,根据嵌入的比特水印,一一对应向每个圆上进行赋值。

2.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法,其特征在于,所述稳定扩散模型Stable Diffusion包括文本编码器、变分自编码器VAE和UNet;所述文本编码器将输入的文本提示转换为潜在嵌入向量表示;所述UNet包括编码器和解码器,编码器和解码器均设有ResNet块和交叉注意层,编码器将图像表示压缩为低分辨率的图像,解码器将低分辨率图像解码回高分辨率的图像;且编码器的下采样 ResNet 块和解码器的上采样 ResNet 块设有快捷连接。

3.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法,其特征在于,对变分自编码器VAE中解码器进行微调时使用的水印解码器微调基于HIDDEN网络,并联合优化水印编码器和提取器网络的参数,将k位消息嵌入到图像中,完成潜在扩散结束后得到的潜在向量z被输入到解码器D中以产生图像;具体内容为:首先,训练原始图像x被送入扩散模型的编码器E,得到原始图像x的潜在噪声含 ,使用解码器D从 恢复图像得到图像x’,然后使用预训练的水印解码器从图像x’中提取权重水印,直至初始训练水印与提取后的水印的损失最小,则说明解码器D的权重已经被微调成功;

当再次使用扩散模型生成图像时,只需要更换解码器权重,就能生成带有水印的图像。

4.根据权利要求1所述的基于稳定扩散模型的生成式不可见水印方法,其特征在于,在反向扩散过程中,反演采样的每一个时间步长内,均采用梯度优化策略,基于对抗学习最小化编码器和解码器之间的重构误差损失,反演采样的迭代过程中,不断调整水印向量的潜在表示;

此处,通过均方误差损失函数来计算误差损失,公式如下:

表示预测值, 为真实值,N是样本总数;

然后,使用随机梯度下降法对损失函数进行优化,优化公式如下:

表示损失函数, 表示预测值,y表示真实值,表示第j个参数,表示第j个特征值, 表示对参数 求偏导计算梯度;

表示在第t次迭代中模型的参数向量,即模型当前参数值, 表示第t+1次迭代后的参数向量, 表示学习率,控制每次更新的步长和参数更新幅度,表示梯度。

5.根据权利要求4所述的基于稳定扩散模型的生成式不可见水印方法,其特征在于,得到优化后的损失函数后,获得包含水印信息得到初始噪声向量,然后根据掩码mask和赋值参数S对水印信息M进行提取;提取水印时,需先对水印图像Image进行压缩,将其从像素空间转为潜在空间,然后经过T个时间迭代回到初始嵌入水印的噪声状态。