利索能及
我要发布
收藏
专利号: 2021102491578
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于残差域深度学习特征的图像拷贝检测方法,其特征在于,具体包括如下步骤:步骤1:分别提取原始图像IO和待检测图像IC的SIFT特征;

步骤2:分别计算原始图像IO中第i个SIFT特征与待检测图像IC中每个SIFT特征之间的欧氏距离,选择最短欧氏距离对应的待检测图像IC中SIFT特征与原始图像IO中第i个SIFT特征组成SIFT匹配对;i=1,2,…I,其中I为原始图像IO中SIFT特征的总个数;

步骤3:采用RANSAC算法对SIFT匹配对进行过滤,从而筛选出N对SIFT匹配对;

步骤4:基于N对SIFT匹配对,计算原始图像和待检测图像之间的仿射变换矩阵T;

步骤5:采用仿射变换矩阵T对原始图像IO进行变换,从而得到图像I’O;

步骤6:分别将待检测图像IC和图像I’O进行二值化处理,得到掩码MC和MO;然后将掩码MC与图像I'O进行按位与运算,得到原始图像上与待检测图像重叠的区域;将掩码MO与待检测图像IC进行按位与运算,得到待检测图像上与原始图像重叠的区域;再将两个重叠的区域逐像素进行差值运算,从而得到原始图像IO与待检测图像IC之间的残差图像IR;

步骤7:若图像库中某个图像与原始图像IO之间为拷贝关系,则将该图像的标签值设置为1,否则该图像的标签值设置为0;根据步骤1~6计算图像库中每个图像与原始图像IO之间的残差图像,得到数据集;采用数据集中一部分残差图像以及该部分残差图像对应的标签值对改进后的ResNet18模型进行训练;数据集中剩余的残差图像以及该剩余的残差图像对应的标签值用于检测训练好的改进后的ResNet18模型的性能;

步骤8;将残差图像IR作为训练好的改进后的ResNet18模型的输入,得到待检测图像与原始图像之间存在拷贝关系的概率,如果该概率值大于预设的阈值,则认为待检测图像与原始图像之间存在拷贝关系。

2.根据权利要求1所述的基于残差域深度学习特征的图像拷贝检测方法,其特征在于,所述步骤4中计算仿射变换矩阵T具体为:步骤4.1:将原始图像IO左上角的像素点作为原点,计算N个SIFT匹配对中在原始图像IO上的SIFT特征与原点之间的欧氏距离,并将所有欧氏距离按照由小到大的顺序排列,得到距离集合Lrank=[l1,l2,l3,...,lN‑1,lN],ln为第n个欧氏距离,n=1,2,…,N;选择l1, lN对应的SIFT匹配对, 为向下取整;

步骤4.2:原始图像和待检测图像之间的仿射变换为:其中,(xC,yC)为某一对匹配对中待检测图像IC中的SIFT特征在待检测图像上的坐标;

(xO,yO)为该匹配对中原始图像IO的SIFT特征在原始图像IO上的坐标,a,b,c,d,e,f均为参数;根据步骤4.1中选择的3个SIFT匹配对中SIFT特征的尺度信息和方向信息,求解参数a,b,c,d,e,f;从而得到仿射变换矩阵T为:

3.根据权利要求2所述的基于残差域深度学习特征的图像拷贝检测方法,其特征在于,所述步骤4.2中采用SVD算法或最小二乘法求解参数a,b,c,d,e,f。

4.根据权利要求1所述的基于残差域深度学习特征的图像拷贝检测方法,其特征在于,所述步骤6具体为:

将待检测图像IC进行二值化处理得到掩码MC:MC={δ(pC(x,y))},且

其中,pC(x,y)表示待检测图像IC中任意像素点(x,y)的像素值;δ(.)表示二值化处理;

将图像I'O与掩码MC进行按位与运算,得到原始图像上与待检测图像重叠的区域RO:其中, pO'(x’,y’),pC(x’,y’)分别表示重叠区域RO中任意一个像素点(x’,y’)在重叠区域RO,图像I'O和待检测图像IC上的像素值;符号[.]B表示二进制形式;&表示按位与运算;

将图像I'O进行二值化处理得到掩码MO:MO={δ(pO'(x1,y1))},且其中,pO’(xt,yt)表示图像I'O中任意一个像素点(xt,yt)的像素值;

将待检测图像IC与掩码MO进行按位与运算,得到待检测图像IC上与原始图像重叠的区域RC:

其中, pO'(x’1,,y’1),pC(x’1,y’1)分别表示区域RC上像素点(x’1,y’1)在区域RC,图像I'O和待检测图像IC上的像素值。

5.根据权利要求1所述的基于残差域深度学习特征的图像拷贝检测方法,其特征在于,所述步骤7中的改进后的ResNet18模型包括卷积核大小为3*3的卷积层,第一~四卷积块,第一、二平均池化层,第一、二全连接层,第一、二分类器加权相加模块;所述第一、二分类器的维数为2;

所述卷积层与第一卷积块连接,所述第一卷积块与第二卷积块连接,所述第二卷积卷积块分别连接第三卷积块和第二平均池化层;所述第三卷积块,第四卷积块,第一平均池化层,第一全连接层,第一分类器依次连接;所述第二平均池化层,第二全连接层和第二分类器依次连接;所述第一,二分类器均与加权相加模块连接,所述加权相加模块输出待检测图像与原始图像之间存在拷贝关系的概率。

6.根据权利要求5所述的基于残差域深度学习特征的图像拷贝检测方法,其特征在于,改进后的ResNet18模型的损失函数L为:L=0.3*L1+0.7*L2

其中Lt为改进后的ResNet18模型的第一分类器的输出 与用于训练该模型的残差图像对应的标签值之间的交叉熵损失,L2为改进后的ResNet18模型的第二分类器的输出 与用于训练该模型的残差图像对应的标签值之间的交叉熵损失;

基于如下公式计算Lt或L2:

t=1或2

其中y为用于训练改进后的ResNet18模型的残差图像对应的标签值。