利索能及
我要发布
收藏
专利号: 2021106728915
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于triplet loss的离线签名验证方法,其特征在于,包括以下步骤:(1)获取待检测的签名数据集,将数据集划分为训练集、验证集和测试集;

(2)分别对划分后的各个数据集的签名图像进行预处理;

(3)在训练集中进行训练;

(3.1)加载EfficientNet网络模型,使用该网络模型的参数作为初始参数来进行训练;

(3.2)采用online triplet mining三元组采集方式,每次minibatch开始的时候,EfficientNet网络模型从训练集中抽样出一组签名图像组成valid triplet;所述validtriplet为满足下述条件的样本对:anchor,positive,negative∈[1,B]将签名图像样本与它的反转图像共同组成valid triplet三元组中的一个元素,anchor是指数据集中的一个签名图像样本与该样本的反转图像共同组成的样本对;positive是指与anchor样本具有相同标签的签名图像样本以及该样本的反转图像共同组成的样本对,即与anchor样本来自同一个作者的签名图像对;negative是指与anchor样本具有不同标签的签名图像样本以及该样本的反转图像共同组成的样本对,即与anchor样本来自不同作者的签名图像对;B是指签名图像样本的个数;

(3.3)提取三元组签名图像样本的特征向量,计算triplet loss损失,通过反向传播更新网络模型的参数;

(3.4)挑选下一批用于训练的三元组,在后续批次训练中使用hard triplet和semi-hard triplet训练;

(3.5)重复执行步骤(3.3)和(3.4),直到训练集中所有图片迭代mepoch次结束训练,其中mepoch是指迭代的次数,可以自由调整,当精度达到预期时即可结束训练;

(4)通过验证集调整自定义分类器,得到训练完成的网络模型;

(4.1)挑选测试集中的样本组成valid triplet,输入步骤(3)得到的网络模型,记录同类样本即来自同一作者的签名样本对特征向量之间的欧式距离,将所有距离累加求和,再除以样本对的对数,求出同类样本特征向量之间欧式距离的平均值,按照同样的计算方法,求出异类样本即来自不同作者的签名样本对特征向量之间欧式距离的平均值,然后求这两个平均值的中间值作为判断是否是真实签名的判别距离,用于之后定义自定义分类器来进行预测;

(4.2)根据步骤(4.1)确定的判别距离得到自定义分类器,分类函数公式如下所示:

其中label是最后预测的标签值,当label=1时即判断为真实签名,当label=0时即判断为伪造签名,d(r,t)是指参考签名图像与待检测签名图像特征向量之间的欧式距离,r是指参考签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量;t是待检测签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量,s是上述步骤(4.1)确定的判别距离;

(4.3)将经过步骤(3)参数优化后得到的网络模型特征提取部分与步骤(4.2)中得到的分类器拼接得到完整的网络模型;

(5)在测试集中进行测试。

2.根据权利要求1所述的方法,其特征在于,所述步骤(2)包括:(2.1)对签名图像进行几何变换,通过转置、镜像、旋转、缩放四种几何变换,用于模拟图像采集系统的系统误差和仪器位置的随机误差;

(2.2)从整幅图像中将签名部分切割出来;

(2.3)对签名图像进行灰度化处理;

(2.4)对灰度化签名图像进行反转处理。

3.根据权利要求1所述的方法,其特征在于,所述步骤(3.3)具体为:在进行第一批次训练时,使用步骤(3.2)中挑选出来的valid triplet来进行训练,在提取embedding时采取Two Channel CNN,采用两个通道来提取签名样本图像与反转图像的embedding,把两个通道提取的embedding进行串联,计算签名图像的embedding之间的欧式距离,在得到签名样本对之间的欧式距离后,根据triplet loss损失函数计算损失通过反向传播来更新网络参数,在计算欧式距离时用到的距离公式如下:

其中d(x,y)是指两个样本对特征向量之间的欧式距离,x和y分别指两个样本对提取的特征向量,num是特征向量中元素的个数,k是元素索引,xk和yk分别是两个样本的特征向量中索引为k的元素的值;

在计算triplet loss损失时用到的损失函数如下所示:L=max(d(a,p)-d(a,n)+margin,0)其中L是计算损失函数所得到的值,d(a,p)是指样本与正样本特征向量之间的欧式距离,d(a,n)是指样本与负样本特征向量之间的欧式距离,margin是人为规定的用来度量正负样本特征向量之间的距离差值的程度的一个边界值,本方法中取margin=0.05;训练的目的是使损失尽可能小,最小化损失值L的目标是:使得d(a,p)接近0,d(a,n)>d(a,p)+margin。

4.根据权利要求1所述的方法,其特征在于,所述步骤(3.4)具体为:挑选下一批用于训练的三元组,在后续批次训练中使用hard triplet和semi-hardtriplet训练,easy triplet、hard triplet、semi-hard triplet即为满足以下条件的valid triplet;

easy triplet:此时positive比negative接近anchor,并且距离差达到边界值,即d(a,n)-(d(a,p)+margin)≥0;

hard triplet:此时negative比positive更接近anchor,即d(a,n)

semi-hard triplet:此时negative比positive距离anchor更远,但是距离差没有达到一个margin,即d(a,n)-(d(a,p)+margin)<0并且d(a,n)≥d(a,p);

其中d(a,n)是指样本与负样本特征向量之间的欧式距离,d(a,p)是指样本与正样本特征向量之间的欧式距离,margin是人为规定的用来度量正负样本特征向量之间的距离差值的程度的一个边界值。

5.根据权利要求1所述的方法,其特征在于,步骤(5)具体为:在测试集中随机挑选两个签名图像,即参考签名图像与待检测签名图像,输入网络模型进行预测;查看分类器的最后输出结果,若网络最后输出结果为1则证明参考签名图像与待检测签名图像来自同一作者即为真实签名;若网络最后输出结果为0则证明参考签名图像与待检测签名图像来自不同作者即为伪造签名。