1.一种基于模态信息度评估策略的掌纹掌静脉识别方法,其特征在于,包括以下步骤:步骤1、采集n个人的手掌图像,每个人分别采集2a幅掌纹图像和2a幅掌静脉图像,建立图像数据库,并将图像数据库分为训练集和测试集,训练集和测试集中的手掌图像数量比例为1:1;
步骤2、构建第一特征提取网络E1和第二特征提取网络E2,分别对应提取掌纹图像的特征向量和掌静脉图像的特征向量,具体如下:在卷积神经网络VGG16的基础上,对VGG16网络进行调整,去掉最后一层分类器后,作为特征提取器,分别提取掌纹图像的特征向量p1和掌静脉图像的特征向量v1,经过CBAM注意力机制对应得到二次掌纹图像的特征向量p2和二次掌静脉图像的特征向量v2;
步骤3、分别构建第一信息度评估网络f1和第二信息度评估网络f2,以分类器预测的最大概率作为权重与特征向量进行内积,内积得到的两个特征向量进行级联输入到全连接层中进行预测,进而得到整体网络模型,具体如下:步骤3‑1、分别构建第一信息度评估网络f1和第二信息度评估网络f2,信息度评估网络包括第一分类器g1和第二分类器g2;
步骤3‑2、将得到的二次掌纹图像的特征向量p2输入到第一分类器g1,再依次通过Sigmoid激活函数和Max函数后,得到第一分类器g1预测的最大概率w1,同时将二次掌静脉图像的特征向量v2输入到第二分类器g2,再依次通过Sigmoid激活函数和Max函数后,得到第二分类器g2预测的最大概率w2;
步骤3‑3、以w1作为权重与二次掌纹图像的特征向量p2进行加权得到三次掌纹图像的特征向量p3,w2作为权重与二次掌静脉图像的特征向量v2进行加权得到三次掌静脉图像的特征向量v3:p3=w1*p2,v3=w2*v2 (1)
步骤3‑4、将三次掌纹图像的特征向量p3和三次掌静脉图像的特征向量v3进行级联得到融合后的向量z:z=[p3,v3] (2)
其中[.,.]是级联操作;
步骤3‑5、最终z输入到全连接层中得到预测结果y1,进而得到整体网络模型;
步骤4、训练整体网络模型,通过学习使分类器预测的最大概率等于其对应的标签的概率,提高网络模型最终识别的准确度和稳定性,进而得到训练好的整体网络模型,具体如下:步骤4‑1、构建第一损失函数L1和第二损失函数L2来逼近分类器的预测概率分布和真实概率分布:1
Z=Y1·P(X1|Y1) (4)
2
Z=Y2·P(X2|Y2) (5)
1
F=Y1·M1 (6)
2
F=Y2·M2 (7)
L2=LCLS1+LCLS2 (8)
其中Y1是掌纹图像的标签,Y2是掌静脉图像的标签,X1代表二次掌纹图像的特征向量p2,X2代表二次掌静脉图像的特征向量v2,P(X1|Y1)是二次掌纹图像的特征向量p2的真实概率分布,P(X2|Y2)是二次掌静脉图像的特征向量v2的真实概率分布,M1表示将二次掌纹图像的特征向量p2输入到第一分类器g1后再通过SoftMax激活函数后得到的预测概率分布,M2表示将二次掌静脉图像的特征向量v2输入到第二分类器g2后再通过SoftMax激活函数后得到的预测概率分布,m表示当前模态序号,LCLS1是M2和P(X1|Y1)的交叉熵损失函数,LCLS2是M2和P(X2|Y2)的交叉熵损失函数;
步骤4‑2、构建最终损失函数L:
L=λ*(L1+L2)+LCLS (9)
其中LCLS是向量z输入全连接层进行分类的交叉熵损失函数,λ是损失函数的平衡参数;
步骤5、利用测试集测试训练好的整体网络模型的准确度和等误率。
2.根据权利要求1所述的一种基于模态信息度评估策略的掌纹掌静脉识别方法,其特征在于,步骤1中,200
3.根据权利要求1所述的一种基于模态信息度评估策略的掌纹掌静脉识别方法,其特征在于,步骤5中,利用测试集测试训练好的整体网络模型的准确度和等误率,具体如下:在识别过程中,利用正确识别率评价识别性能,在验证过程中利用等误率作为模型性能的主要评价指标,在验证过程中,计算输入生物特征与目标生物特征之间的相似度,并设置阈值,当相似度低于阈值时,表明二者是同一类别,匹配成功,反之为不同类别,匹配失败:其中,NFR代表错误接受的次数,NFA代表错误拒绝的次数,NGRA代表类内匹配次数,NGCA代表类间匹配次数,当FRR等于FAR时,此时的FRR与FAR的值被称为等误率EER,在分类问题中,是在1:N的识别模式下在识别的样本总数中被正确识别样本数量所占的比例,从测试集中抽取一个人的一张掌纹图像和一张掌静脉图像,输入到训练好的整体识别网络中,True最终全连接层对输入进行预测,累计预测正确的样本数为N ,累计预测错误的样本数为FlaceN ,在测试集上的正确识别准确度CRR为: