利索能及
我要发布
收藏
专利号: 2024115502470
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于扩散模型的生成式可见水印生成方法,其特征在于,构建前向联合框架,在扩散模型生成图像的过程中,使用前向联合框架将待添加的可见水印的内容转换为与生成图像一致的前向参数,并与生成图像的内容在扩散空间进行前向参数叠加,使得可见水印与生成图像深度融合,即在扩散模型生成图像的过程中在图像中添加可见水印,直接得到生成含水印图像;

在使用前向联合框架将可见水印的内容转换为对应前向参数之前,先判断扩散模型的类型,如果是像素级扩散模型Glide则在扩散过程中使用前向联合框架,如果是潜变量级扩散模型Stable Diffusion,则需要先利用编码器把图像转换为潜变量,然后再使用前向联合框架;

所述前向联合框架的详细内容为:

将背景图像 进行去噪采样生成水印图像 区域外的像素,将背景图像 和水印图像 的前向参数迭代去噪生成水印区域的像素,掩膜控制下的像素最终重新组合为包含水印图像 ,实现可见水印区域与背景区域的自然融合,表达式如下:;

上式中, 代表无水印图像,

代表水印图像含水印区, 表示噪声调度系数在第 t 步的累积乘积,表示扩散过程中的当前时间步,是单位协方差矩阵, 是指掩膜, 代表未加水印的背景图像的原始样本, 代表水印图像的原始样本。

2.根据权利要求1所述的基于扩散模型的生成式可见水印生成方法,其特征在于,对于像素级扩散模型Glide,在融合可见水印与生成图像时,通过动态透明度模块使可见水印根据生成图像的局部特征进行自适应调整;所述动态透明度模块的具体内容如下:先通过计算背景图像水印区域的纹理和对比度信息,调整噪声分布如下式所示:;

上式中,通过噪声可见函数 反映局部区域的纹理复杂性,噪声可见函数 的取值范围为[0.3,0.7],噪声可见函数 中对应的元素计算为:;

代表图像中某像素的坐标, 为对应分辨率, 表示全局的像素方差均值, 表示图像中坐标 处像素的局部方差值。

3.根据权利要求1或2所述的基于扩散模型的生成式可见水印生成方法,其特征在于,对于像素级扩散模型Glide,可见水印的生成方法如下:首先,运用DDPM根据文本提示词生成64x64的低分辨率图像 和水印图像 ,, ;

接着,像素级扩散模型Glide扩散过程中,根据扩散步数t的不同来添加不同的噪声 ,具体添加方法为:当 刚添加噪声时, ;

当 时, ,此时的生成图像和可添加水印图像计算公式为:, ;

其中, 表示在扩散模型中为水印图像专门设置的噪声调度系数; 表示在扩散模型中为像素级背景图像设置的噪声调度系数;当 时,处于像素级扩散模型Glide 扩散去噪初期 ,将生成图像 与水印图像进行 融合,公式为 :;

同时,利用噪声可见函数 计算水印区域的背景图的遮蔽信息,得到;当 且 时,处于像素级扩散模型Glide扩散去噪后期,利用噪声可见函数 来自适应背景图像信息,确保水印逐步变得透明,同时保持可视化效果;扩散模型的中间图像 的公式为:;

逐步去噪,最终得到含水印图像 。

4.根据权利要求1或2所述的基于扩散模型的生成式可见水印生成方法,其特征在于,针对潜变量级扩散模型Stable Diffusion,可见水印的生成方法如下:首先,根据文本提示词生成的潜变量 、水印图像 、总扩散步数T、掩膜m和水印透明度 ; , ;

然后,使用编码器将可见水印图像 从像素空间转到潜空间,得到水印潜向量, 属于编码操作;

然后,在潜变量级扩散模型Stable Diffusion扩散过程中,根据扩散步数t的不同来对水印潜向量添加不同的噪声 ,t∈[1, T],进行水印重建,具体方法为:当 时,处于扩散初期,刚开始添加噪声, ;

当1<t ≤T时,ε从正态分布中抽取,即 ,随后,在每个扩散步数 中对生成图像和水印图像的潜变量进行加权混合,根据遮罩因子来控制两者的融合情况;计算公式如下:;

表示在扩散步t‑1时,背景图像的潜变量,属于扩散过程的中间样本; 表示在扩散步t‑1时,水印图像的潜变量,属于扩散过程的中间样本, 是指含水印图像的中间样本;

扩散结束后,使用解码操作将最终的潜变量重新转换回像素空间,生成最终含水印图像 ; 表示在扩散模型中为水印图像专门设置的噪声调度系数,表示在扩散模型中为潜变量级背景图像设置的噪声调度系数;

属于解码操作, 是指反向扩散过程结束时候的潜变量。