1.一种基于UNet架构的抗屏摄鲁棒图像水印软融合网络方法,其特征在于,包括以下步骤:步骤1,对封面图像预处理,得到低频分量;
步骤2,建立多阶段水印扩展子网络,将水印信息张量与低频分量进行特征融合;
步骤3,构建基于Unet架构的水印软融合网络ProwterNet:在Unet网络中添加离散小波变换下采样、封面自注意力CSA和通道压缩注意力SE模块,并且级联消息处理器;首先用离散小波变换下采样替换Unet网络中编码阶段的所有下采样模块,将通道压缩注意力SE添加到上采样之后;其次,在解码阶段将封面自注意力CSA添加到跳跃连接之前;最后接收级联消息处理器的输出,所述输出包括嵌入水印特征的频域信息和水印消息,将嵌入水印特征的频域信息和水印消息与跳转链接的特征和不断上采样后的特征进行融合,实现空域和频域的联合嵌入;
步骤4,设计不可微噪声模拟训练过程,对所述水印软融合网络ProwterNet进行训练;
步骤1包括:
步骤1‑1,将封面图像输入离散小波变换网络中,经过第一层小波变换分解为一级低频分量 ,一级水平高频分量 ,一级垂直高频分量 ,一级对角高频分量 ;
步骤1‑2,将低频分量 再次输入离散小波变换网络中,进行二次分解,获得二级低频分量 ,二级水平高频分量 ,二级垂直高频分量 ,二级垂直高频分量 ;
步骤1‑3,将二级低频分量 输入离散小波变换网络中,提取三级低频分量 ;
步骤2包括:
步骤2‑1,随机生成大小为64比特位的水印信息 ,通过全连接层将随机生成的水印信息 扩展为 的水印信息张量 ;
步骤2‑2,将扩展后的水印信息张量 复制4份,记为 ,其中 ;
步骤2‑3,在第0层消息处理器 中,接收扩展后的水印信息张量 ,不进行额外处理,直接输出水印信息张量 ;
步骤2‑4,将步骤1中得出的三个低频分量 、 、 分别级联到第一层消息处器、第二层消息处理器 和第三层消息处理器 中;
步骤2‑5,第一层消息处理器 接收两个输入:扩展后的水印信息张量、一级低频分量 ;
步骤2‑6,第一层消息处理器 首先将水印信息张量 通过 的卷积神经网络扩展至与一级低频分量 大小一致的水印信息张量 ,然后对水印信息张量 和一级低频分量 进行哈达玛积计算,并通过 函数生成注意力权重系数 ,利用注意力权重对水印信息张量 和一级低频分量 进行特征融合并输出融合后具有水印特性的频域信息特征 ;
步骤2‑7,在第二层消息处理器 和第三层消息处理器分别接收扩展后的水印信息张量 、二级低频分量 和扩展后的水印信息张量 、三级低频分量 ,并且重复步骤2‑6,输出融合后的具有水印特性的频域信息特征 和 ,具体融合过程的公式为:,
其中 表示 的卷积神经网络,为 函数, 为哈达玛积计算乘积;z取值为1、2、3;
消息处理器 一共有四层,第0层输出水印信息张量 ,第一层对水印信息张量 进行处理,最终输出具有水印特性的频域信息特征 ,第二层和第三层分别输出具有水印特性的频域信息特征 ;
步骤3包括:
步骤3‑1,将Unet网络原始编码阶段的所有下采样模块全部替换成离散小波变换下采样,所述离散小波下采样包括:对维度为 自然图像X施加二维离散小波变换,将X分解为四个频域子图,其中H表示自然图像X的长,W表示自然图像X的宽,C表示自然图像X的通道数;
所述四个频域子图分别为低频分量子图LL、水平高频分量子图LH、垂直高平分量子图HL和对角高频分量子图HH;将四个频域子图沿通道维度进行拼接,构造一个新的特征图 ,尺寸为 ;施加标准的卷积操作以进行通道降维,实现频域信息的重新提取和融合,生成下采样后的图像 ,尺寸大小为 ;
步骤3‑2,设输入特征图像为 ,对F在水平方向进行水平池化,在垂直方向上进行垂直池化,以捕获轴向全局上文信息,其中水平方向的水平池化操作沿着列维度进行,生成水平方向的全局特征向量 ;垂直方向的平均池化操作沿行维度进行,生成垂直方向的全局特征向量 ;对特征向量 和 施加广播加法,实现对输入特征 的全局补充,生成全局特征 ;通过校准函数 ,对生成的全局特征 进行非线性变化,从而得到校准后的全局特征 : ,
其中 和 为可学习的参数矩阵,表示Relu激活函数;
随后通过两条不同方向的条形卷积进行二次校准:利用垂直条形卷积对垂直方向的形状进行校准,利用水平条形卷积对水平方向的形状进行校准;
在Unet网络编码器阶段引入封面自注意力CSA,并且通过跳跃链接送到解码器中,在解码阶段的每一个上采样后都添加通道压缩注意力SE模块;
在Unet网络第一层中,设 为编码过程中提取到的特征, 为消息处理器输出的水印信息特征, 为解码阶段提取到的特征,首先通过封面自注意力CSA得到经过二次特征校准后的注意力权重系数 ,将 和 按元素相乘得到特征 ,随后通过批归一化BN对特征 进行归一化,并通过ReLU激活函数输出空域特征 ,将 和水印信息特征 、编码器提取特征 进行通道特征拼接,得到融合特征 ,利用通道注意力SE模块计算出特征 的注意权重系数 ,将 和 按元素相乘,得到新的特征 ,随后进行上采样后作为Unet网络第二层中解码器提取到的特征。
2.根据权利要求1所述的方法,其特征在于,步骤4中,所述不可微噪声模拟训练过程包括小批量训练策略Mini‑Bath和不可微分模拟噪声层DiffJpeg。
3.根据权利要求2所述的方法,其特征在于,步骤4中,所述不可微分模拟噪声层DiffJpeg包括前向传播过程和反向传播过程,前向传播中,对图像攻击使用舍入、取底和剪切操作;在反向传播中,采用直通估计器STE,使用多项式逼近替代常数梯度,公式为: ,
其中 为图像遭遇不可微分噪声攻击时,反向传播的像素值的梯度;
采用小批量训练策略Mini‑Bath,每次在训练的时候在真实不可微分噪声攻击层JPEG、无噪声攻击层Identity和不可微分模拟噪声层DiffJpeg中随机选择。
4.根据权利要求3所述的方法,其特征在于,步骤4中,训练过程中采用如下损失函数L:,
其中 、 、 是权重系数;
是编码损失,计算公式为:
,
其中 表示封面图像 与编码图像 的均方误差, 代表编码器E的参数,M代表原始水印信息;
是编码器消息损失,计算公式为:
,
其中 表示解码器预测出的消息 和原始水印信息 的均方误差, 代表解码器D的参数, 表示经过噪声攻击后的图像;
是鉴别器损失,计算公式为:
,
其中A为鉴别器; 为鉴别器A的参数。
5.一种根据如权利要求1 4任一项所述的方法实现的基于UNet架构的抗屏摄鲁棒图像~水印软融合系统,其特征在于,包括:
数据预处理单元:用于接收载体图像,将载体图像输入到数据预处理单元后,会输出三个低频分量特征,分别是一级低频分量 、二级低频分量 和三级低频分量 ;
消息处理单元:用于接收消息和低频分量特征,输出具有频域特征的水印信息和水印信息;
编码单元:用于接收来自消息处理器的水印信息块和载体图像,经过水印软融合网络ProwterNet输出得到编码后的图像;
对抗训练单元:将编码后的图像输入到对抗训练单元中,通过扰动进行对抗训练,提高编码质量;
噪声单元:将编码图像输入至预先建立的噪声模拟层中,通过反向传播来优化嵌入的鲁棒性和图像的视觉质量;对于不可微分噪声,设计不可微噪声模拟训练过程进行训练;
解码提取单元:将加噪后的图像输入预先建立的解码提取单元中,提取得到一维的水印信息。
6.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述的方法的步骤。
7.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至4中任一项所述的方法的步骤。