利索能及
我要发布
收藏
专利号: 2023100338553
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于像素级奖励机制的以图藏图方法,其特征在于,包括:在进行秘密图像隐藏时,将彩色载体图像和灰度秘密图像输入到训练好的以图藏图网络中,生成含密图像;

在进行秘密图像提取时,将含密图像输入到训练好的以图藏图网络中,得到重构秘密图像;

所述以图藏图网络的训练,包括:

利用图像级联隐藏网络、基于U‑Net++结构的重构网络和裁判网络构建所述以图藏图网络,其中,所述图像级联隐藏网络,用于根据彩色载体图像和灰度秘密图像生成含密图像;所述基于U‑Net++结构的重构网络,用于将含密图像重构得到重构秘密图像;所述裁判网络,用于在以图藏图网络的训练中对图像级联隐藏网络输出的含密图像进行判别,得到判别结果以及像素级奖励矩阵;

根据图像级联隐藏网络的损失函数和基于U‑Net++结构的重构网络的损失函数以及裁判网络的判别结果以及像素级奖励矩阵构建所述以图藏图网络的总损失函数;

以总损失函数最小为目标优化所述以图藏图网络,当损失下降并保持稳定时完成训练,得到训练好的以图藏图网络,其中,在优化过程中,所述裁判网络的权重固定。

2.根据权利要求1所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述将彩色载体图像和灰度秘密图像输入到训练好的以图藏图网络中,包括:采用分辨率多样化操作对载体图像/秘密图像进行预处理,得到原尺寸、二分之一尺寸、四分之一尺寸的三对不同分辨率的载体图像/秘密图像对;

将三对不同分辨率的载体图像/秘密图像对输入到以图藏图网络中。

3.根据权利要求2所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述图像级联隐藏网络包括:低分辨率语义分支,中分辨率细节分支,高分辨率细节分支,级联特征第一融合模块,级联特征第二融合模块,上采样操作组;

所述低分辨率语义分支的输入为四分之一尺寸的载体图像/秘密图像对;

所述中分辨率细节分支的输入为二分之一尺寸的载体图像/秘密图像对;

所述高分辨率细节分支的输入为原尺寸的载体图像/秘密图像对;

所述低分辨率语义分支,中分辨率细节分支的输出作为级联特征第一融合模块的输入;

所述级联特征第一融合模块,高分辨率细节分支的输出作为级联特征第二融合模块的输入;所述级联特征第二融合模块的输出与上采样操作组相连;

所述上采样操作组的输出为含密图像。

4.根据权利要求3所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述低分辨率语义分支包括:载体分支隐藏概率指导模块,载体分支第一卷积操作组,载体分支第二卷积操作组,载体分支第三卷积操作组,载体分支第四卷积操作组,载体分支第五卷积操作组,秘密分支第一卷积操作组,秘密分支第二卷积操作组,秘密分支第三卷积操作组,秘密分支第四卷积操作组,秘密分支第五操作组,反卷积第一操作组,反卷积第二操作组,反卷积第三操作组;

所述载体分支隐藏概率指导模块的输入为四分之一尺寸的载体图像;

所述载体分支第一卷积操作组的输入为载体分支隐藏概率指导模块的输出;

所述载体分支第二卷积操作组的输入为载体分支第一卷积操作组的输出;

所述载体分支第三卷积操作组的输入为载体分支第二卷积操作组的输出;

所述载体分支第四卷积操作组的输入为载体分支第三卷积操作组的输出;

所述载体分支第五卷积操作组的输入为载体分支第四卷积操作组的输出;

所述秘密分支第一卷积操作组的输入为四分之一尺寸的秘密图像;

所述秘密分支第二卷积操作组的输入为秘密分支第一卷积操作组的输出;

所述秘密分支第三卷积操作组的输入为秘密分支第二卷积操作组的输出;

所述秘密分支第四卷积操作组的输入为秘密分支第三卷积操作组的输出;

所述秘密分支第五卷积操作组的输入为秘密分支第四卷积操作组的输出;

所述载体分支第五卷积操作组和秘密分支第五卷积操作组的输出进行通道拼接后输入到反卷积第一操作组中;

所述载体分支第四卷积操作组、秘密分支第四卷积操作组及反卷积第一操作组的输出进行通道拼接后输入到反卷积第二操作组中,形成跳跃结构,所述载体分支第三卷积操作组、秘密分支第三卷积操作组及反卷积第二操作组的输出进行通道拼接后输入到反卷积第三操作组中,形成跳跃结构;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。

5.根据权利要求4所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述载体分支隐藏概率指导模块表示为:p(m,n,d,θ)=count{(k,a),(l,b)∈(Nx×Ny)×(Nx×Ny)}其中,p(m,n,d,θ)为所述四分之一尺寸载体图像I的灰度共生矩阵,m和n为两个不同的灰度级,d为所述四分之一尺寸载体图像两个像素之间的距离,θ为所述四分之一尺寸载体图像的两个像素之间的角度,count{·}表示计算集合中包含的元素总数,(k,a),(l,b)为所述四分之一尺寸载体图像的两个像素点,Nx和Ny为所述四分之一尺寸载体图像的宽度和高度,xt为所述四分之一尺寸载体图像的熵值图像,BN(·)为批标准化操作,σ1(·)为ReLU激活函数,F1(·)为3×3卷积变换函数, 为逐像素相乘操作, 为逐像素相加操作,xe为载体分支隐藏概率指导模块的输出。

6.根据权利要求3所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述中分辨率细节分支包括:载体分支第一卷积操作组,载体分支第二卷积操作组,秘密分支第一卷积操作组,秘密分支第二卷积操作组;通道拼接操作;

所述载体分支第一卷积操作组的输入为二分之一尺寸的载体图像;

所述载体分支第二卷积操作组的输入为载体分支第一卷积操作组的输出;

所述秘密分支第一卷积操作组的输入为二分之一尺寸的秘密图像;

所述秘密分支第二卷积操作组的输入为秘密分支第一卷积操作组的输出;

所述载体分支第二卷积操作组和秘密分支第二卷积操作组的输出为通道拼接操作的输入;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。

7.根据权利要求3所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述高分辨率细节分支包括:载体分支第一卷积操作组,载体分支第二卷积操作组,秘密分支第一卷积操作组,秘密分支第二卷积操作组,通道拼接操作;

所述载体分支第一卷积操作组的输入为原尺寸的载体图像;

所述载体分支第二卷积操作组的输入为载体分支第一卷积操作组的输出;

所述秘密分支第一卷积操作组的输入为原尺寸的秘密图像;

所述秘密分支第二卷积操作组的输入为秘密分支第一卷积操作组的输出;

所述载体分支第二卷积操作组和秘密分支第二卷积操作组的输出为通道拼接操作的输入;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。

8.根据权利要求3所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述级联特征第一融合模块表示为:其中,f1为低分辨率语义分支的输出,f2为中分辨率细节分支的输出,Up(·)为2×2上采样操作,F2(·)为1×1卷积变换函数,σ2(·)为LeakyReLU激活函数,f3为级联特征第一融合模块的输出。

9.根据权利要求8所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述级联特征第二融合模块表示为:其中,f4为高分辨率细节分支的输出,f5为级联特征第二融合模块的输出。

10.根据权利要求9所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述上采样操作组表示为:c'=σ3(F3(BN(σ1(F3(BN(σ1(F3(f5))))))))其中,F3(·)为4×4反卷积变换函数,σ3(·)为Tanh激活函数,c'为含密图像。

11.根据权利要求1所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述基于U‑Net++结构的重构网络为跳跃连接结构,包括:卷积操作组一,卷积操作组二,卷积操作组三,卷积操作组四,反卷积操作组一,卷积操作组五,反卷积操作组二,卷积操作组六,反卷积操作组三,卷积操作组七,反卷积操作组四,卷积操作组八,反卷积操作组五,卷积操作组九,反卷积操作组六,卷积操作组十;

所述反卷积操作组一及卷积操作组一的输出进行通道拼接后,输入到卷积操作组五;

所述反卷积操作组二及卷积操作组二的输出进行通道拼接后,输入到卷积操作组六;

所述反卷积操作组三,卷积操作组一及卷积操作组五的输出进行通道拼接后,输入到卷积操作组七,形成跳跃连接结构;

所述反卷积操作组四及卷积操作组三的输出进行通道拼接后,输入到卷积操作组八;

所述反卷积操作组五,卷积操作组二及卷积操作组六的输出进行通道拼接后,输入到卷积操作组九,形成跳跃连接结构;

所述反卷积操作组六,卷积操作组一,卷积操作组五,卷积操作组七的输出进行通道拼接后,输入到卷积操作组十,形成跳跃连接结构;

所述卷积操作组十的输出为重构的秘密图像;

其中,一个卷积操作组包括依次设置的卷积层、激活层、批标准化层;一个反卷积操作组包括依次设置的反卷积层、激活层、批标准化层。

12.根据权利要求1所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述裁判网络为XuNet隐写分析网络,通过以下训练步骤获得:采集多个图像样本,确定各个样本图像的标签;所述标签为相应样本图像中包括秘密图像的概率;

以各个图像样本为输入,各个图像样本的标签为输出训练XuNet隐写分析网络,得到裁判网络。

13.根据权利要求1所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述像素级奖励矩阵表示为:其中,σ1(·)为ReLU激活函数,Fk为裁判网络最后一个卷积层输出的特征图的第k个通道,αk为第k个特征图的权重,Rij为像素级奖励矩阵,i和j分别代表图像像素行和列的位置,H'和W'为第k个特征图的高和宽,z'为裁判网络的预测结果, 表示Fk在第(i,j)个像素的值。

14.根据权利要求13所述的基于像素级奖励机制的以图藏图方法,其特征在于,所述总损失函数L为:L=βLc+ηLs

其中,Lc为图像级联隐藏网络损失,Ls为基于U‑Net++结构的重构网络损失,β、η为用于控制图像级联隐藏网络损失以及基于U‑Net++结构的重构网络损失的权值;

所述图像级联隐藏网络损失Lc的计算公式为:

Lc=μLv+ωLa

其中,Lv代表质量损失,用来衡量含密图像的视觉质量,La代表安全性损失,用来衡量含密图像的安全性,μ、ω为用于控制质量损失以及安全性损失的权值,c为载体图像像素,L是图像的总像素值,c'为含密图像像素,μc、μc'分别为c和c'的平均值,代表载体图像和含密图像的亮度,K1为一个小于等于1的常数,M为自定义尺度,σc、σc'分别为c、c'的标准差,代表载体图像和含密图像的对比度,σcc'为c和c'的协方差,代表载体图像和含密图像的结构相似度,K2为一个小于等于1的常数,G是高斯滤波参数,α和γ是用于控制权值的超参数,H和W为图像的高度和宽度,z代表图像的真实标签,z'代表裁判网络的预测值;

所述基于U‑Net++结构的重构网络损失Ls的计算公式为:

其中,s为秘密图像像素,s'为重构秘密图像像素,μs、μs'分别为s和s'的平均值,代表秘密图像和重构的秘密图像的亮度,σs、σs'分别为s、s'的标准差,代表秘密图像和重构秘密图像的对比度,σss'为s和s'的协方差,代表秘密图像和重构秘密图像的结构相似度。

15.一种基于像素级奖励机制的以图藏图系统,其特征在于,包括:生成单元,用于在进行秘密图像隐藏时,将彩色载体图像和灰度秘密图像输入到训练好的以图藏图网络中,生成含密图像;

重构单元,用于在进行秘密图像提取时,将含密图像输入到训练好的以图藏图网络中,得到重构秘密图像;

所述以图藏图网络的训练,包括:

利用图像级联隐藏网络、基于U‑Net++结构的重构网络和裁判网络构建所述以图藏图网络,其中,所述图像级联隐藏网络,用于根据彩色载体图像和灰度秘密图像生成含密图像;所述基于U‑Net++结构的重构网络,用于将含密图像重构得到重构秘密图像;所述裁判网络,用于在以图藏图网络的训练中对图像级联隐藏网络输出的含密图像进行判别,得到判别结果以及像素级奖励矩阵;

根据图像级联隐藏网络的损失函数和基于U‑Net++结构的重构网络的损失函数以及裁判网络的判别结果以及像素级奖励矩阵构建所述以图藏图网络的总损失函数;

以总损失函数最小为目标优化所述以图藏图网络,当损失下降并保持稳定时完成训练,得到训练好的以图藏图网络,其中,在优化过程中,所述裁判网络的权重固定。