利索能及
我要发布
收藏
专利号: 2025112162715
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合边缘注意力门控与多尺度空洞卷积的抗屏摄鲁棒文本图像水印方法,其特征在于,包括以下步骤:步骤1,设计对秘密消息进行预处理的消息处理器MessageProProcess,在消息处理器MessageProProcess中添加扩展网络ExpandNet和通道注意力SENet,输入一段二进制形式的秘密消息并输出消息特征图;

步骤2,构建基于边缘注意力门控与多尺度空洞卷积融合的文本水印框架;在端到端的水印框架的编码器中添加了功能模块,包括:多分支空洞卷积模块MBDC‑block、边缘引导的门控机制Edge‑Gated Mechanism、混合池化层和正则化失活层DropBlock;首先对输入的载体图像进行卷积激活ConvBNReLU,得到底层特征图;

将底层特征图输入多分支空洞卷积模块MBDC‑block中,得到图像特征图,将底层特征图输入轻量化边缘检测网络LedgeNet中,得到边缘特征图;

对图像特征图和边缘特征图进行残差连接得到融合特征;将融合特征输入混合池化层压缩,混合池化层的输出再进入正则化失活层DropBlock中正则化,最后,进入全连接层输出图像特征,并与消息特征图融合;

步骤3,设计噪声层,在水印模型训练的过程中对模型进行模拟攻击;

步骤4,设计损失函数的优化方式。

2.根据权利要求1所述的方法, 其特征在于,步骤1包括:步骤1‑1,添加消息处理器MessageProProcess来处理消息,然后将特征映射提供给编码器,将长度为L的一维秘密消息M转换为二维数据,然后将二维数据重塑为二维秘密消息,h、w分别为二维消息的高和宽;R表示实数空间;

步骤1‑2,重塑后的二维秘密消息 进入一个卷积核大小为3的卷积激活层ConvBNReLU进行初步的特征提取后,进入扩展网络ExpandNet中,进行n次2倍的上采样操作,扩展成与载体图像 同样大小的消息特征映射 ,其中C为载体图像的通道数,H、W分别为载体图像的高和宽;

步骤1‑3,扩展后的消息特征图进入通道注意力网络SENet中以获取消息特征图。

3.根据权利要求2所述的方法, 其特征在于,步骤2包括:步骤2‑1,首先以载体图像张量 为初始输入,经过初级卷积操作后编码为底层语义特征图 ,底层语义特征图 作为输入并行地送入三个扩张率不同的空洞卷积分支中,分别使用扩张率 d为1,2,3的卷积核构建特征图 以增强对局部细节、中尺度结构和全局上下文的建模能力,公式为:,

其中 和 分别表示扩张率为d的空洞卷积分支的卷积核权重和偏置;为非线性的ReLU激活函数; 是一个二维卷积操作;

步骤2‑2,在编码器中设计一种基于残差网络ResNet‑18的整体嵌套边缘检测HED的结构变体; 所述结构变体是轻量化边缘检测网络LedgeNet,用于生成显式边缘引导图,引导网络特征提取与融合;k=1,2,3,分别表示低、中、高三个尺度的输出,三个尺度选自残差网络ResNet‑18的前三级特征层;

步骤2‑3,边缘引导图 作为显式注意力掩码参与编码器特征通道的门控与融合过程,得到边缘调制后的增强特征图 ;

步骤2‑4,为实现边缘响应与原始语义特征的联合建模,采用残差连接方式将增强特征图 与特征图 融合,得到融合特征 :;

在编码器中建立混合池化层,所述混合池化层包含最大池化层和平均池化层;三个尺度输出的融合特征图 进入混合池化层进行特征压缩,形成边缘增强感知特征图 ;

步骤2‑5 将边缘增强感知特征图 输入编码器中的正则化失活层DropBlock进行随机失活,最后,处理好的特征向量进入全连接层,得到最终的图像特征 ;

将最终的图像特征 与上采样后的消息特征图 进行拼接,经卷积映射并与载体图像张量𝐼 C进行跳跃连接,最后通过1×1卷积生成包含水印的编码图像 。

4.根据权利要求3所述的方法, 其特征在于,步骤2‑3包括:首先将边缘引导图 通过 

1×1卷积降维与双线性插值上采样的操作后,得到与扩张率为d的特征图 相对应的边缘特征图 ;随后,为了实现边缘区域响应的显示增强构造边缘引导的通道空间软门控掩码,通过轻量卷积和Sigmoid 激活函数生成门控权图 :,

其中 表示1×1的卷积操作,为Sigmoid激活函数,门控权图 表示边缘区域在每个分支通道空间内的重要性响应, 表示扩张率为d的分支的通道数;

将门控权图与特征图 进行融合操作,得到边缘调制后的增强特征图 :,

其中⊙表示哈达玛积。

5.根据权利要求4所述的方法, 其特征在于,步骤2‑4中,所述最大池化层用于强化纹理,所述平均池化层用于保留整体结构,分别表示为:,

其中, 表示经过最大池化层处理的第c个通道,池化坐标位置(i, j)处的输出的压缩特征图;

表示经过平均池化层处理的第c个通道,池化坐标位置(i, j)处的输出的压缩特征图;

表示第c个通道在位置(x,y)处的特征值;

x,y分别表示输入特征图中的横坐标和纵坐标, 表示横坐标位置i对应的输入框口区域, 表示纵坐标位置j对应的输入框口区域,表示为:,

其中 和 分别表示池化输出后的目标输出的高和宽,对两个压缩特征图进行按元素加权融合得到池化特征融合图 :,

其中 为设置的超参数; 表示经过混合池化层处理的第c个通道,池化坐标位置(i, j)处的输出的池化特征融合图;

对池化特征融合图计算全图响应均值:

其中 表示扩张率为d的池化特征融合图 的全图响应均值; 表示扩张率为d的分支的池化特征融合图中,第c个通道在空间位置(x,y)上的值;

对全图响应均值进行 softmax 归一化得到结构适应性的融合权重 : ,d = 1,2,3,

其中e表示自然数, 表示对 进行指数运算;

最终加权融合三个空洞卷积分支的特征图,形成边缘增强感知特征图 :。

6.根据权利要求5所述的方法, 其特征在于,步骤4中,模型的损失函数分为以下三个部分:编码器损失 、解码器损失 和判别器损失 ,编码器损失 、解码器损失 和判别器损失 相对应的损失权重分别为 、 、 ;

引入了一种自适应的损失权重调节机制来平衡编码器和解码器的训练,公式为:,

其中,  和 分别是编码器和解码器在第n个epoch的损失权重,是一个常数,和 分别是编码器的损失平均值和解码器的损失平均值。

7.根据权利要求6所述的方法, 其特征在于,步骤4中,自适应的损失权重调节机制还加入了移动平均平滑机制,对于编码器,使用平滑因子 每次更新时权重为:,

其中 表示使用平滑因子调节后的第n+1个epoch的编码器损失权重。

8.根据权利要求7所述的方法, 其特征在于,步骤4中,最终,总的损失函数L表示为:,

其中 分别表示使用平滑因子调节后的编码器损失权重和解码器损失权重, 是编码损失,计算公式为:,

其中 表示载体图像 与编码图像 的均方误差, 代表编码器E的参数,代表消息特征图;  表示编码器对输入图像 和消息特征图 进行编码的过程,输出为嵌入了水印的图像 ;

是解码损失,计算公式为:

  ,

其中 表示秘密消息M和解码后的消息 的二元交叉熵, 代表解码器D的参数, 表示解码器D在参数 下,对噪声图像 进行处理,输出解码得到的秘密消息 ;

是判别器损失,计算公式为:

其中A为判别器, 是判别器A的参数; 表示在参数 下,判别器对编码器输出的编码图像的判别结果, 表示判别器对载体图像 的判别结果。

9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。

10.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至8中任一项所述的方法的步骤。