利索能及
我要发布
收藏
专利号: 2021110218826
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述方法包括以下步骤:S1:将一张载体图像和两张秘密图像输入到基于Res2Net‑Inception‑SE模块的双分支编码网络,生成含密图像;

S2:将生成的含密图像输入到W‑Net解码网络,得到重构的两张秘密图像;

S3:根据含密图像质量、重构秘密图像质量设计混合损失函数,并将其作为隐写网络的总损失函数,以总损失函数最小为目标优化隐写网络,损失下降并保持稳定时训练结束;

所述步骤S1中基于Res2Net‑Inception‑SE模块的双分支编码网络包括载体分支第一卷积操作组、载体分支Res2Net‑Inception‑SE模块、载体分支第二卷积操作组、秘密分支第一卷积操作组、秘密分支Res2Net‑Inception‑SE模块、秘密分支第二卷积操作组、反卷积操作组以及第三卷积操作组;

所述载体分支第二卷积操作组和秘密分支第二卷积操作组进行通道拼接后输入到反卷积操作组中,所述反卷积操作组的输出端与所述第三卷积操作组相连,所述第三卷积操作组的输出为含密图像;

其中,一个卷积操作组包括依次设置的卷积层、激活层以及批标准化层,一个反卷积操作组包括依次设置的反卷积层、激活层以及批标准化层;

所述步骤S2中W‑Net解码网络为跳跃连接结构,所述W‑Net解码网络包括:卷积操作组一、卷积操作组二、卷积操作组三、卷积操作组四、通道拆分操作、秘密第一分支反卷积操作组一、秘密第一分支反卷积操作组二、秘密第一分支反卷积操作组三、秘密第一分支反卷积操作组四、秘密第一分支卷积操作组一、秘密第二分支反卷积操作组一、秘密第二分支反卷积操作组二、秘密第二分支反卷积操作组三、秘密第二分支反卷积操作组四以及秘密第二分支卷积操作组一;

所述通道拆分操作将卷积操作组四的输出拆分为秘密特征图一和秘密特征图二;

所述卷积操作组三以及秘密第一分支反卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组二、秘密第一分支反卷积操作组二以及秘密第一分支反卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组一、秘密第一分支反卷积操作组三、秘密第一分支反卷积操作组二以及秘密第一分支卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组三及秘密第一分支卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述卷积操作组二、秘密第二分支反卷积操作组二以及秘密第一分支卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述卷积操作组一、秘密第二分支反卷积操作组三、秘密第二分支反卷积操作组二以及秘密第二分支反卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述秘密第一分支卷积操作组一的输入为秘密第一分支反卷积操作组四,输出为第一张秘密图像;

所述秘密第二分支卷积操作组一的输入为秘密第二分支反卷积操作组四,输出为第二张秘密图像;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。

2.根据权利要求1所述的一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述步骤S1中将一张载体图像和两张秘密图像输入到基于Res2Net‑Inception‑SE模块的双分支编码网络的途径包括载体图像单独输入到编码网络的其中一个分支,以及两张秘密图像进行通道堆叠操作后输入到编码网络的另一个分支。

3.根据权利要求1所述的一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述步骤S1中的Res2Net‑Inception‑SE模块包括卷积块一、改进残差块、卷积块二和注意力模块;

所述卷积块一表示为:

x=F3(f)

其中,f为所建卷积块的输入,x为所建卷积块的输出,F3(·)为3×3卷积变换函数;

所述改进残差块表示为:

xi=S(x)i∈1,2,3,4

y=[y1,y2,y3,y4]

其中,S(·)为特征通道拆分操作,卷积块的输出x按通道被拆分为4块,xi为通道拆分后的第i块,yi为xi经过相应操作后的输出,[·,·,·,·]表示空间维数上的通道堆叠操作,y为改进残差块的输出,IC(·)为Inception操作,具体如下:[F1(·),F3(F1(·)),F5(F1(·)),F1(M(·))]其中,F1(·)是1×1卷积变换函数,F5(·)是5×5卷积变换函数,M(·)是3×3最大池化函数;

所述卷积块二表示为:

z=F3(y)

其中,y为卷积块二的输入,z为卷积块二输出的特征图;

所述注意力模块表示为:

G=δ1(W2(δ2(W1(sc))))·zc

其中,H为卷积块二输出特征图的高,W为卷积块二输出特征图的宽,zc(i,j)为卷积块二输出特征图z的第c通道的特征,sc是第c通道上空间特征编码出的全局特征,δ1(·)是Sigmoid激活函数,W2(·)是将特征图通道降维16倍的全连接操作,δ2(·)是ReLU激活函数,W1(·)是将特征图通道升维16倍的全连接操作,G是注意力模块的输出。

4.根据权利要求1所述的一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述步骤S3中的隐写网络包括基于Res2Net‑Inception‑SE模块的双分支编码网络和W‑Net解码网络。

5.根据权利要求1所述的一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述步骤S3中的总损失函数为:L(c,c',s,s')=βL(c,c')+γL(s,s')

其中,L(c,c')为基于Res2Net‑Inception‑SE模块的双分支编码网络损失,L(s,s')为W‑Net解码网络损失,β、γ为用于控制基于Res2Net‑Inception‑SE模块的双分支编码网络损失以及W‑Net解码网络损失的权值。

6.根据权利要求5所述的一种基于编码‑解码网络的大容量以图藏图方法,其特征在于,所述基于Res2Net‑Inception‑SE模块的双分支编码网络损失L(c,c')的计算公式为:其中,c为载体图像像素,c={ci|1,2,...,L},L是图像的总像素值,c'为含密图像像素,c'={ci'|1,2,...,L},μc、μc'分别为c和c'的平均值,也代表载体图像和含密图像的亮度,K1为一个小于等于1的常数,M为自定义尺度,在此取值为5,σc、σc'分别为c、c'的标准差,也代表载体图像和含密图像的对比度,σcc'为c和c'的协方差,也代表载体图像和含密图像的结构相似度,K2为一个小于等于1的常数,G是高斯滤波参数,α是用于控制权值的超参数;

所述W‑Net解码网络损失L(s,s')的计算公式为:

L(s,s')=L(s1,s'1)+L(s2,s'2)

其中,s1为第一张秘密图像像素, s2为第二张秘密图像像素,

L是图像的总像素值,s ′1为第一张重构秘密图像像素,

s′2为第二张重构秘密图像像素, 分别为s1

和s′1的平均值,也代表第一张秘密图像和第一张重构的秘密图像的亮度, 分别为s2和s′2的平均值,也代表第二张秘密图像和第二张重构的秘密图像的亮度,K1为一个小于等于1的常数,M为自定义尺度,在此取值为5, 分别为s1、s′1的标准差,也代表第一张秘密图像和第一张重构秘密图像的对比度, 分别为s2、s′2的标准差,也代表第二张秘密图像和第二张重构秘密图像的对比度, 为s1和s′1的协方差,也代表第一张秘密图像和第一张重构秘密图像的结构相似度, 为s2和s′2的协方差,也代表第二张秘密图像和第二张重构秘密图像的结构相似度,K2为一个小于等于1的常数,G是高斯滤波参数,α是用于控制权值的超参数。

7.一种基于编码‑解码网络的大容量以图藏图系统,其特征在于,所述系统包括:生成单元:用于将一张载体图像和两张秘密图像输入到基于Res2Net‑Inception‑SE模块的双分支编码网络中,得到嵌入了两张秘密图像的含密图像;

重构单元:用于将所述含密图像输入到W‑Net网络中,得到重构的两张秘密图像;

训练单元:用于根据含密图像质量、重构秘密图像质量设计混合损失函数,并将其作为隐写网络的总损失函数,以最小化损失函数为目标优化隐写网络,当损失下降并保持稳定时认为训练结束;所述隐写网络包括基于Res2Net‑Inception‑SE模块的双分支编码网络以及W‑Net解码网络;

隐写单元:用于使用训练好的隐写网络,根据载体图像和秘密图像生成含密图像,再从含密图像中重构出两张秘密图像;

所述基于Res2Net‑Inception‑SE模块的双分支编码网络包括载体分支第一卷积操作组、载体分支Res2Net‑Inception‑SE模块、载体分支第二卷积操作组、秘密分支第一卷积操作组、秘密分支Res2Net‑Inception‑SE模块、秘密分支第二卷积操作组、反卷积操作组以及第三卷积操作组;

所述载体分支第二卷积操作组和秘密分支第二卷积操作组进行通道拼接后输入到反卷积操作组中,所述反卷积操作组的输出端与所述第三卷积操作组相连,所述第三卷积操作组的输出为含密图像;

其中,一个卷积操作组包括依次设置的卷积层、激活层以及批标准化层,一个反卷积操作组包括依次设置的反卷积层、激活层以及批标准化层;

所述W‑Net解码网络为跳跃连接结构,所述W‑Net解码网络包括:卷积操作组一、卷积操作组二、卷积操作组三、卷积操作组四、通道拆分操作、秘密第一分支反卷积操作组一、秘密第一分支反卷积操作组二、秘密第一分支反卷积操作组三、秘密第一分支反卷积操作组四、秘密第一分支卷积操作组一、秘密第二分支反卷积操作组一、秘密第二分支反卷积操作组二、秘密第二分支反卷积操作组三、秘密第二分支反卷积操作组四以及秘密第二分支卷积操作组一;

所述通道拆分操作将卷积操作组四的输出拆分为秘密特征图一和秘密特征图二;

所述卷积操作组三以及秘密第一分支反卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组二、秘密第一分支反卷积操作组二以及秘密第一分支反卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组一、秘密第一分支反卷积操作组三、秘密第一分支反卷积操作组二以及秘密第一分支卷积操作组一的输出与秘密特征图一融合,形成跳跃连接结构;

所述卷积操作组三及秘密第一分支卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述卷积操作组二、秘密第二分支反卷积操作组二以及秘密第一分支卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述卷积操作组一、秘密第二分支反卷积操作组三、秘密第二分支反卷积操作组二以及秘密第二分支反卷积操作组一的输出与秘密特征图二融合,形成跳跃连接结构;

所述秘密第一分支卷积操作组一的输入为秘密第一分支反卷积操作组四,输出为第一张秘密图像;

所述秘密第二分支卷积操作组一的输入为秘密第二分支反卷积操作组四,输出为第二张秘密图像;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。