利索能及
我要发布
收藏
专利号: 2024105646199
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征相似性和多尺度边缘注意力的图像篡改检测方法,其特征在于,包括以下步骤:S1.处理待输入图像,获取待检测图像的多源信息,将多源信息输入骨干网络提取特征:将原始图像统一图像的尺寸,将RGB图像和受限卷积层输出的噪声视图同时作为骨干网络的输入,在两种信息来源和四个尺度上提取图像的特征,并产生四个不同尺度的特征;

S2.多尺度边缘注意力网络:

将每个阶段的特征通过边缘检测器来生成边缘特征 ,根据浅层特征的边缘特征来生成边缘注意力图 ,并用边缘注意力图来指导四个阶段的边缘特征,通过Split‑Transform‑Merge结构的残差块来学习边缘特征,将边缘特征融合进骨干网络;

S3.特征相似性学习:

将GroundTruth中篡改区域的像素设置为阳性,将真实区域的像素设为阴性,同时将GroundTruth下采样到第一阶段特征大小,将第一阶段输出的特征使用点积相似性计算每对像素之间的相似性度量,将得到的相似性特征图与GroundTruth进行BinaryCrossEntropy损失约束;

S4.多级特征融合解码:

级联四个尺度的特征,通过通道和空间双重注意力来完成特征的融合;

多级特征融合解码具体如下:四个特征F1,F2,F3,F4中,通过双线性上采样F2,F3,F4到F1大小,并级联四个尺度的特征,并通过通道注意力和空间注意力融合四个尺度的特征,通道注意力将通道特征联系起来,选择性强调互相依赖的通道特征,与此同时,空间注意力对所有位置上的特征进行加权求和,选择性更新每个位置上的特征,将通道和空间注意力的输出相加,通过1x1卷积转换成H/16*W/16大小,通过双线性上采样和Sigmoid函数输出全尺寸的预测图;

S5.多损失函数联合监督:

最后输出解码得到的预测图与GroundTruth进行像素级的损失监督,四个尺寸的边缘特征和相似性特征图与对应下采样得到的GroundTruth进行像素级损失监督,联合三个损失优化网络。

2.根据权利要求1所述的基于特征相似性和多尺度边缘注意力的图像篡改检测方法,其特征在于:图像提取的特征具体如下:将图像处理得到相同尺寸的RGB图像作为网络的输入,输入尺寸分别为H×W,W为图片宽度,H为图片高度,单位是像素;

将输入图像通过受限卷积层得到噪声视图,同RGB图像共同输入到骨干网络中来提取不同来源的特征,同时共享参数;

在四个提取阶段都会产生四个尺度不一的特征 。

3.根据权利要求2所述的基于特征相似性和多尺度边缘注意力的图像篡改检测方法,其特征在于,所述多尺度边缘注意力网络具体步骤如下:将第一阶段的特征F1通过Sobel算子和Laplace算子组成的边缘检测器检测边缘信息后得到边缘特征 ,随后将 通过1x1卷积、重塑、相乘操作获得不同尺度上的边缘注意力图 ,将其余阶段的特征通过由Soble算子和Laplace算子组成的检测器得到 ,边缘特征 用公式表达为:,

其中 , 分别表示Sobel算子和Laplace算子, 表示1x1卷积,;边缘注意力图 用公式表达为:

其中 表示Reshape函数, 表示1x1卷积, 表示矩阵乘法, ;

将每个阶段的边缘特征与注意力图融合,并通过残差连接继续融合原始特征F1,F2,F3,F4,得到的中间特征 用公式表达为:,

其中 表示逐元素相乘, ;

通过Split‑Transform‑Merge结构的残差模块进一步挖掘细粒度的边缘特征,最后将得到的四个尺度的边缘特征融入骨干网络,最终得到的特征 用公式表达为:,

其中 表示逐元素相加, 表示Split‑Transform‑Merge结构的残差模块,。

4.根据权利要求3所述的基于特征相似性和多尺度边缘注意力的图像篡改检测方法,其特征在于,所述特征相似性学习具体如下:将GroundTruth通过最近邻方法下采样到F1特征相同的大小;使用MLP实现的两个嵌入头对特征F1在通道维度进行嵌入得到 和 ;

接下来将特征图和转置后的特征图进行点积运算,随后逐元素除以通道数的开平方,并通过Sigmoid函数得到每对特征像素之间的相似性度量,尺寸为:HW/16,HW/16,根据相似性矩阵实现相似性学习,具体实现公式如下:,

S代表相似性特征矩阵, 和 分别表示由MLP实现的两个嵌入层,表示Sigmoid函数,和 分别表示位于i,j和h,k位置的像素特征,如果他们都是真实的或者都是篡改过的,则s=1,否则s=0;使用BinaryCrossEntropyLoss,公式如下:,

其中 和 分别表示GroundTruth和相似性矩阵的第i个像素,N为像素数。

5.根据权利要求4所述的基于特征相似性和多尺度边缘注意力的图像篡改检测方法,其特征在于,相似性和多尺度边缘注意力网络的目标函数构建具体如下:像素分割损失 由Diceloss和WeightCrossEntropyLoss组成,像素分割损失计算如下:,

其中 表示超参数,设置为0.3, 表示Diceloss, 表示WeightCrossEntropyLoss损失函数,具体计算如下:,

其中, , 表示两个不同的超参数权重, ,分别表示真值GroundTruth和预测图中的第i果然像素,N为图像中的像素数;

将像素分割损失,边缘损失,相似性损失进行组合,由此总损失函数定义如下:,

其中, 表示BinaryCrossEntropyLoss损失, 表示DiceLoss损失, 表示像素分割损失。