利索能及
我要发布
收藏
专利号: 2023115219951
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,包括以下步骤:步骤1、采集n个人的手掌图像,每个人分别采集2a幅掌纹图像和2a幅掌静脉图像,建立图像数据库,并将数据库分为训练集和测试集,训练集和测试集中的手掌图像数量比例为

1:1,转入步骤2;

步骤2、构建第一卷积神经网络E1和第二卷积神经网络E2,第一卷积神经网络E1用于提取掌纹图像的卷积特征图,第二卷积神经网络E2用于提取掌静脉图像的卷积特征图,转入步骤3;

步骤3、构建深度融合网络,将掌纹图像的卷积特征图和掌静脉图像的卷积特征图输入深度融合网络,得到融合后的卷积特征图,并构建损失函数LCLS,具体如下:步骤3‑1、构建深度融合网络,分别对掌纹图像的卷积特征图p1和掌静脉图像的卷积特征图v1进行一次自适应的平均池化操作,然后使用元素级求和来完成初始的特征融合得到多模态特征图f:f=Add(AvgPool(p1),AvgPool(v1)) (3)其中,AvgPool是自适应平均池化操作,Add是元素级求和操作;

步骤3‑2、多模态特征图f通过通道注意力模块得到相应的通道注意力融合系数f1:f1=Sigmoid(Conv(δ(Conv(AvgPool(f),1)))+Conv(δ(Conv(MaxPool(f),1)))) (4)其中MaxPool是自适应最大池化操作,δ是Relu函数;

步骤3‑3、将通道注意力融合系数f1作为权重分别与掌纹的卷积特征图p1、掌静脉的卷积特征图v1相乘,对应得到掌纹的二次卷积特征图p2和掌静脉的二次卷积特征图v2:p2=f1*p1 (5)

v2=f1*v1 (6)

步骤3‑4、将通道注意力融合系数f1输入空间注意模块,得到相应的空间注意力融合系数f2:f2=f1*Sigmoid(Conv(Concate(Mean(f1),Max(f1),1)) (7)其中Mean是在通道维度上求特征的平均值,Max是通道维度上求特征的最大值;

步骤3‑5、将空间注意力融合系数f2作为权重分别与掌纹的二次卷积特征图p2、掌静脉的二次卷积特征图相乘v2相乘,得到掌纹的三次卷积特征图p3、掌静脉的三次卷积特征图v3:p3=f2*p2 (8)

v3=f2*v2 (9)

步骤3‑6、将掌纹的三次卷积特征图p3、掌静脉的三次卷积特征图v3进行元素级求和,得到融合后的卷积特征图z:z=Add(p3,v3) (10)

步骤3‑7、构建损失函数LCLS:

其中LCLS是融合后的卷积特征图z输入全连接层分类的交叉熵损失函数,ql是卷积特征图z输入到全连接层后输出的分类结果,yl是符号函数,如果ql的真实类别等于c,yl取1,否则yl取0,K是类别数量;

转入步骤4;

步骤4、构建掌纹的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对,同时构建掌静脉的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对,转入步骤

5;

步骤5、构建非对称对比模块,将构建的所有正样本对和负样本对输入非对称对比模块中,并对所有的正样本对和负样本对构建第一损失函数Lil,同时对所有的正样本对和负样本对构建第二损失函数Lcl,得到整体网络模型,具体如下:步骤5‑1、构建非对称对比模块,包括第一对比模块P(.)和第二对比模块g(.),其中P(.)由全连接层组成,g(.)为类别预测分布网络,由全局平均池化层和Softmax激活函数组成;

步骤5‑2、将所有正样本对和负样本对通过P(.)映射到同一空间进行互信息最大化操作:其中Sim(,)表示余弦相似度,a,b均表示映射到同一空间的特征向量,T表示转置;

构建第一损失函数Lil如下:

其中 是单模态的卷积特征图,M表示所属模态,M=1时, 代表掌纹的卷积特征图,M=2时, 代表掌静脉的卷积特征图;

步骤5‑3、将所有正样本对和负样本对通过g(.)映射到同一空间,进行预测类别分布的对比学习,构建第二损失函数Lcl:步骤5‑4、结合第一损失函数Lil、第二损失函数Lcl和损失函数LCLS,得到整体网络模型;

转入步骤6;

步骤6、构建整体损失函数L,训练整体网络模型,得到训练好的的整体网络模型,转入步骤7;

步骤7、将测试集输入训练好的整体网络模型,得到测试集准确度。

2.根据权利要求1所述的一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,步骤1中,采集n个人的手掌图像,每个人分别采集2a幅掌纹图像和2a幅掌静脉图像,建立图像数据库,并将数据库分为训练集和测试集,训练集和测试集中的手掌图像数量比例为1:1,具体如下:采集n个人的手掌图像,200

3.根据权利要求2所述的一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,步骤2中,构建第一卷积神经网络E1和第二卷积神经网络E2,第一卷积神经网络E1用于提取掌纹图像的卷积特征图,第二卷积神经网络E2用于提取掌静脉图像的卷积特征图,具体如下:在ImageNet数据库上,将预先训练的卷积神经网络VGG16去掉最后一层分类器后作为特征提取器,分别获得两个模态的深度卷积特征图,即掌纹图像的卷积特征图p1和掌静脉图像的卷积特征图v1:p1=E1(Ff) (1)

v1=E2(Fv) (2)

其中,Ff是输入的掌纹图像,Fv是输入的掌静脉图像;

由于两个模态的特征提取器之间不会共享权值,因此,每个模态特征不受其他模态的影响。

4.根据权利要求3所述的一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,步骤4中,构建掌纹的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对,同时构建掌静脉的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对,具体如下:步骤4‑1、构建掌纹的卷积特征图和融合后的卷积特征图的正样本对和负样本对:对同一类别的卷积特征图,构建正样本对 对不同类别的卷积特征图,构建负样本对 其中 是第i类别的掌纹的卷积特征图, 是第j类别的掌纹的卷积特征图, 是第i类别的融合后的卷积特征图,i、j代表所属类别,i不等于j,k是卷积特征图的数量;

步骤4‑2、构建掌静脉的卷积特征图和融合后的卷积特征图的正样本对和负样本对:对同一类别的卷积特征图,构建正样本对 对不同类别的卷积特征图,构建负样本对 其中 是第i类别的掌静脉的卷积特征图, 是第j类别的掌静脉的卷积特征图, 是第i类别的融合后的卷积特征图。

5.根据权利要求1所述的一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,步骤6中,构建整体损失函数L,训练整体网络模型,得到训练好的的整体网络模型,具体如下:构建整体损失函数L以训练整体网络模型:

L=λ1*Lil+λ2*Lcl+Lcls (15)

其中λ1、λ2是损失函数的超参数。

6.根据权利要求1所述的一种基于非对称对比融合的双模态生物特征识别方法,其特征在于,步骤7中,将测试集输入训练好的整体网络模型,得到测试集准确度,具体如下:在识别实验中,利用CRR评价整体网络模型的识别性能,在验证实验中利用EER作为整体网络模型性能的主要评价指标,验证时,通过计算输入生物特征与目标生物特征之间的相似度,并设置阈值,当相似度低于阈值时,表明二者是同一类别,匹配成功,反之为不同类别,匹配失败:其中NFR代表错误接受的次数,NFA代表错误拒绝的次数,NGRA代表类内匹配次数,NGCA代表类间匹配次数,当FRR等于FAR时,此时的FRR与FAR的值被称为等误率EER,在分类问题中,从测试集中抽取一个人的一张掌纹图像和一张掌静脉图像,输入到训练好的整体识别True网络中,最终全连接层对输入进行预测,累计预测正确的样本数为N ,累计预测错误的样Flace本数为N ,在测试集上的正确识别准确度为:

7.一种如权利要求1~6中任意一项所述的基于非对称对比融合的双模态生物特征识别方法的实现系统,其特征在于,包括生物特征数据库模块、掌纹的特征提取模块、掌静脉的特征提取模块、多模态特征融合模块、非对称对比模块和身份识别模块,具体如下:所述生物特征数据库模块,采集的n个人的手掌图像,每个人分别采集2a幅掌纹图像和

2a幅掌静脉图像,建立图像数据库;

所述掌纹的特征提取模块,在其内构建第一卷积神经网络E1,以提取掌纹图像的卷积特征图;

所述掌静脉的特征提取模块,在其内构建第二卷积神经网络E2,提取掌静脉图像的卷积特征图;

所述多模态融合模块,将掌纹图像的卷积特征图和掌静脉图像的卷积特征图输入到多模态融合模块中,得到融合后的卷积特征图;

所述非对称对比模块,由P(.)和g(.)两个模块组成,将融合后的卷积特征图输入到非对称对比模块中,分别与掌纹图像的卷积特征图和掌静脉图像的卷积特征图进行对比学习;

所述身份识别模块,由全连接层和Softmax激活函数组成,将融合后的卷积特征图输入到身份识别模块中,输出生物特征识别结果。