利索能及
我要发布
收藏
专利号: 2022107304977
申请人: 山东省人工智能研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,包括以下步骤:步骤一,通过自相关匹配分支对整张图像生成自相关得分图;

输入一张复制移动伪造图像,抽取图像特征,对图像特征进行自相关计算,即各局部特征之间使用皮尔森系数度量相似性,并使用解码器输出自相关得分图,自相关得分图只有一个通道并且和输入图像的大小一致,自相关得分图中每个像素点得分值介于0到1之间,反映此像素被篡改的概率;

步骤二,参考自相关得分图使用实例分割模型DeepMask生成可疑图像块;

利用自相关得分图辅助提案框的选择,过滤掉平均分数较小的提案框,从提案中选择得分较高的提案框,并在IOU较大时合并提案框;

步骤三,将成对可疑图像块进行关键点匹配;

将生成的成对图像块输入到关键点匹配分支中,所述成对图像块包括图像块A和图像块B,关键点匹配分支操作如下:首先使用特征提取器Swin Transformer的前三个stage对两个图像块分别抽取局部特征,逐层渐进提取其1/4,1/8,1/16分辨率的局部特征,使用粗匹配生成粗匹配,再使用细匹配网络生成细匹配结果,使用超像素分割算法,将原图分割成一个个的超像素小区域,并初始化一张对应原图大小的关键点得分图;

所述粗匹配过程如下所示:

1)结合局部特征和位置信息将两个可疑块对应的1/16分辨率的局部特征集合中的任意一点作为初始候选点m,对应的初始候选点向量xm(0)表示如下:xm(0)=fm+MLPenc(pm)

式中fm是局部特征,pm是位置m对应在整张伪造图像中的绝对位置坐标,MLPenc表示多层A B感知机;图像块A产生候选点向量集合F,图像块B产生候选点向量集合F;

A B A B

2)将F和F送入粗匹配网络,使用self‑attention挖掘F ,F内部的候选点之间的关系,A A B B所述F中某候选点的邻域为F中所有候选点,所述F中某候选点的邻域为F中所有候选点;

A B A

使用cross‑attention挖掘F中候选点和F的候选点之间的关系;F 中某候选点的邻域B B A为F中的所有候选点,F中某候选点的邻域为F中的所有候选点;

3)交替执行3次self‑attention和cross‑attention,六次更新后的候选点向量之间的内积作为两个候选点的匹配得分,使用阈值法和相互最近邻算法从大量候选点中筛选出匹配的关键点,得到在成对的可疑块上的粗匹配式中:是可疑块A的1/16分辨率候选点中筛选出的关键点的位置标记,是可疑块B的

1/16分辨率候选点中筛选出的关键点的位置标记, 是这两个关键点的匹配得分,包含多组对应的关键点和匹配得分;

所述细匹配网络过程如下:

将粗匹配的两个关键点位置 对应在1/4分辨率的成对的局部特征上相应标记成分别以 和 为中心,以5x5尺寸大小裁剪局部特征邻域集合,产生一对局部特征邻域集合X,Y;

对局部特征邻域集合中的每个局部特征交替使用1次注意力机制和交叉注意力机制来分别建模X内Y内、X和Y间的候选点之间的关系;

关联X中心向量和Y中所有的向量从而生成邻域Y的每个向量和中心向量x的匹配概率分布,计算这个概率分布的期望生成1/4分辨率可疑块A中位置 在1/4分辨率可疑块B中对应的匹配位置 若 不在邻域Y的范围内,则丢弃;

得到最终匹配结果 表示1/16分辨率中关键点的

得分,Mf包含多组对应的关键点和匹配得分;

步骤四 融合两种得分图和损失函数约束网络训练;

使用如下融合方法将两个分支的得分图进行融合:

其中P表示自相关得分图,M表示关键点得分图,α表示自相关得分图的权重,β表示关键‑8点得分图的权重,λ用来调整输出的峰值,γ表示非零常数取值为e ,output表示融合方法的输出;将output所有位置上的值大于等于0.5的位置标记为1,小于0.5的被标记为0,最终输出一张检测结果的可视化图;若一张图片的检测结果的可视化图被标记为1的像素数量占总像素数量的0.2%以上,则此图片被标记为篡改。

2.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,所述步骤二中提案框的选择具体操作如下:

1)获取提案框对应的得分平均值集合S,S={si|i∈[1,U]},式中U表示提案框个数,si表示提案框对应的区域在自相关得分图P内的若干得分值的平均值,若si大于阈值则保留与之对应的提案框,若小于阈值则丢弃;

2)两个提案框的重叠度大于阈值IOU时进行合并,同时所有的提案或合并框应满足小于输入图像的一半,得到可疑的提案框集合Hc={hj|j∈[1,K]},K是保留提案框的数量,hj表示第j个可疑提案框且hj={(c1,c2),RL,RT},(c1,c2)是提案框中心点的坐标、RL是中心点到提案框左右边界的距离、RT是中心点到提案框上下边界的距离。

3.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,A B其特征在于,所述使用self‑attention挖掘F 、F内部的候选点之间的关系,使用cross‑A Battention挖掘F中候选点和F的候选点之间的关系的具体步骤如下:

1)将候选点向量xm(0)映射成query向量qm,将邻域内的所有候选点向量映射成key向量集合K和value向量集合V,如下所示:qm=waxm(0)+ba,

式中:wa,Wb,Wc,ba,Bb,Bc为可学习的参数矩阵,矩阵内每个元素的取值范围为[0,1];

2)使用注意力机制计算出权重向量am,具体公式如下:

T

am=softmax(qm·K),

T

式中:T为转置运算,·表示query向量的转置qm 分别和key向量集合K中的每个向量做内积;

3)使用权重向量聚合value向量集合V:

式中:em表示消息传递,它以加权的方式聚合了候选点向量xm(0)的邻域内的信息,kn表示Key向量集合K中的某个向量;

4)采用残差的方式更新候选点向量xm(0)的表示,

xm(L+1)=xm(L)+MLP([xm(L),em])L表示消息传递更新的次数,这里初始候选点向量xm(0)经过一次消息传递被更新为xm(1),MLP是多层感知机。

4.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,所述超像素分割算法具体步骤如下:将原图分割成一个个的超像素小区域,并初始化一张对应原图大小的关键点得分图,初始值为0;将1/4分辨率的激活点在原图中对应位置出标定出来,如果在某个超像素小区域内包含细激活点,则关键点得分图在此区域内的所有像素值都为得分值 如果存在多个激活点,则取多个 的最大值,最终我得到一张激活了伪造区域,并且淡化了非可疑区域的关键点得分图。

5.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,所述自相关匹配网络采用如下约束函数训练:式中: 是像素级别的真值标签,1为伪造像素,0为未伪造像素, 是将自相关匹配得分二值化后的预测图,大于阈值0.5被标记为1,否则为0,w1,w2是权重系数,取值为0.8,0.2。

6.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,所述粗匹配网络优化函数如下:式中: 是粗匹配标签,为两组1/16分辨率网格的相互最近邻,两个网格之间的距离是通过它们中心位置的再投影距离来测量的, 是两个关键点的匹配分数。

7.根据权利要求1所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,所述细匹配网络优化函数如下:是预测值, 是真实标签, 是通过地面真实相机的姿态和深度将 从特征邻域集合X映射到特征邻域集合Y中得到的。

8.根据权利要求2所述的基于多层次化感知的社交网络图像复制移动伪造检测方法,其特征在于,β取值为1,λ取值为5,si取值为0.3,阈值IOU取值为0.5,K的取值小于10。