利索能及
我要发布
收藏
专利号: 2024116689200
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于扩散模型的生成式边缘痕迹消减方法,其特征在于,构建和训练生成式边缘痕迹消减网络,将篡改图像X和其对应的目标伪造区域掩膜mask(X)输入生成式边缘痕迹消减网络,具体步骤为:步骤1、首轮处理时,先将目标伪造区域掩膜mask(X)转换为灰色图像,接着输入至目标边缘获取和分层模块,经目标边缘获取和分层模块处理后得到伪造区域的边缘点坐标Eeg;

步骤2、将篡改图像X和边缘点坐标Eeg输入边缘生成模块,所述边缘生成模块基于去噪扩散概率模型DDPM并采用流形约束,通过边缘生成模块更新篡改图像X,输出图像G;

将首轮所得输出图像G输入至边缘检测模块,通过边缘检测模块得到输出被检测边缘和实际边缘的图像损失、未检测到的边缘像素点值和对应位置K,并将图像损失、未检测到的边缘像素点值和对应位置K返回给目标边缘获取和分层模块以及边缘图像融合模块;

步骤3、第二轮起,目标边缘获取和分层模块收到图像损失、未检测到的边缘像素点值和对应位置K,通过步骤1所得边缘点坐标Eeg减去K得到被检测的边缘像素点位置P,对P增加一个像素距离得到边缘邻近层L,边缘位置Eeg和边缘分层L组合形成边缘邻近层组合Ezh,然后再将更新后的图像G和边缘邻近层组合Ezh输入至边缘生成模块;

同时,边缘图像融合模块收到图像G、未检测到的边缘像素点值和对应位置K,输出融合图GR;

步骤4、第二轮起,边缘检测模块收到融合图像GR,再次计算得到损失图像、未检测到的边缘像素点值和对应位置K,并返回给目标边缘获取和分层模块以及边缘图像融合模块。

2.根据权利要求1所述的基于扩散模型的生成式边缘痕迹消减方法,其特征在于,目标边缘获取和分层模块首轮对灰度目标伪造区域掩膜mask(X)的处理方法为:采用Get_mask_edge方法固定x轴遍历灰度图的y轴图像获取像素值变化点,再固定y轴遍历x轴得到的像素值变化点,结合两次所得像素值变化点获取完整的边缘点坐标Eeg;将边缘点坐标Eeg传入目标边缘分层网络中,将每个点坐标周围1个像素点距离的其余像素点记为边缘邻近层,由于要区分邻近像素层内像素分属边缘内侧和外侧,特别是应对不规矩边缘的内外侧区分,固定y轴同时将x轴上边缘点坐标组合成点对的形式,位于边缘点对内的边缘邻近层像素被标记为边缘内邻近层,其他像素点被标记为边缘外邻近层;

从第二轮起,目标边缘获取和分层模块将使用边缘点坐标Eeg减去边缘检测模块传回的未检测到的边缘像素点位置K得到被检测到的边缘像素点位置P,输出为对P增加一个像素距离的边缘邻近层L,所述边缘邻近层L的距离θ有累加性,即首轮Eeg每一像素点的θ为0,若上一轮P上某一像素点q边缘邻近层θ扩张一个像素距离,则在本轮中q仍在P上,那么点q的θ再扩张一个像素距离。

3.根据权利要求1所述的基于扩散模型的生成式边缘痕迹消减方法,其特征在于,边缘生成模块的扩散模型包括正向扩散过程和反向扩散过程,具体内容如下;

、正向扩散过程的每一步均为高斯平移;

                    (1)

其中 是固定的方差调度,方差调度是指线性增加的噪声调度 ,

表示数据初始值x在前向扩散过程中时间步长t‑1到t时刻的变化方式,为添加的高斯扰动噪声;

公式(1)将高斯噪声添加到潜在变量来寻找 ,通过(1)推导出当给定干净的数据时,的采样将以闭合形式表示:                       (2)

其中 并且 ;此处s、t代表扩散模型的时间步长;

表示为 和 的线性组合:         (3)

为符合正态分布的高斯扰动噪声;

、反向扩散过程由神经网络建模,神经网络预测高斯分布的参数 和 ;反向扩散过程具有与正向过程相同的函数形式,被表示为具有学习均值和固定方差的高斯变换,表达式为:                     (4)

此外,通过将 分解为 和噪声逼近器 的线性组合,生成过程表示为:

                    (5)

上式中, 每个反向扩散步骤均是随机的, 表示具有相同输入和输出维度的神经网络对 在时间步长t时刻的预测值;

、在反向扩散过程使用受流形约束启发的额外校正项,使反向迭代接近流形,即将原始的篡改图像的初始数据流形记作M,前向扩散过程中偏离数据流形M,并逐渐接近噪声数据流形 。

4.根据权利要求1所述的基于扩散模型的生成式边缘痕迹消减方法,其特征在于,从第二轮起,边缘图像融合模块均保留本轮的合适边缘像素点位置和对应像素点值,使用保留的像素点替换原篡改图像X上对应位置的像素点,其余部分送入目标边缘获取和分层模块更新边缘范围后,再传入边缘生成模块以生成的新边缘和和对应像素点值图像,融合得到融合图GR;表达如下:;

上式中, 是指 原篡改图像 X去除对 于图像边缘 后的图像 ,

表示对于时间步长t时刻,伪造边缘上位置p的像素是通过反向

扩散过程推理出的结果,具有跟正向扩散t时刻相同的噪声水平。

5.根据权利要求1所述的基于扩散模型的生成式边缘痕迹消减方法,其特征在于,将边缘图像融合模块输出的图像GR输入边缘检测模块,边缘检测模块处理得到未检测到的边缘像素点值和对应位置K以及图像损失,利用图像损失进行下一轮的边缘采样范围更新,通过多次迭代最终得到合适的生成式伪造区域边缘,具体方法为:边缘检测模块基于预训练权重的MVSS‑Net网络,包括多个ResNet块,相邻两个ResNet块之间级联Sobel层,每个Sobel层之后布置一个边缘残差块ERB,每个级联的边缘残差块ERB输出的特征均与下一级联的边缘残差块ERB输出的特征求和组合,进而级联浅层特征和深层特征,实现边缘检测输出生成式伪造区域边缘;

使用Dice loss损失函数计算获得图像损失 ,公式如下:

其中 是表示边缘第i个像素是否被操纵的二进制标号;被操纵的像素标记为0,没被标记的像素记为1。