欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 201910668981X
申请人: 邹伟
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于迁移学习和GAN网络的指静脉精准身份识别系统(VARS),其特征在于,包含以下模块:(1)图像采集预处理模块:负责手指静脉的采集和采集后的图像的预处理。经过指静脉采集设备成像,得到尺寸为长宽为400*200的指静脉图片,根据手指轮廓进行ROI裁剪,再对图片进行尺寸统一和流明度归一化。

(2)样本质量评估模块:负责评估采集和预处理后的图片的质量。输入为图像采集预处理模块预处理后的指静脉图片,经过质量评估,如果图片质量符合标准将输入的指静脉图片输出;如果判定为图片质量不够好,静脉信息不足,在此处终止目前的工作流程,不再向下一模块输出。

(3)欺骗检测模块:负责判断输入图片是伪造假指静脉还是真实指静脉。输入为样本质量评估模块评估后的指静脉图片,如果判定图片为真实指静脉,将输入的指静脉图片输出;

如果判定为伪造指静脉,否则在此处终止目前的工作流程,系统报警,伪造输入记录和时间戳将作为系统识别记录输出给数据存储模块。

(4)特征提取模块:通过迁移学习训练所得,负责针对图片进行指静脉特征提取。每张图片输出一个128维指静脉特征向量。输入为样本质量评估模块输出的指静脉图片,经过该特征提取模型,输出128维指静脉特征向量。该特征提取过程支持批量处理。

(5)身份认证模块:负责对输入的特征向量判断其身份所属。该模块有两个输入:a.由特征提取模块输出的128维指静脉特征(需验证的身份),b.由数据存储模块输出的全部内部人员的身份特征分布信息。基于欧式距离比对a与b之间的覆盖情况,判定需验证的身份所属。输出-1表示未知外来人员,输出对应的身份编号表示已知人员。判定结果和时间戳将作为系统识别记录传输给数据存储模块。

(6)数据存储模块:负责存储和读取指静脉特征信息、加密指静脉样本和系统识别记录。该模块有5个工作内容:1.存储加密图像:接收来自样本质量评估模块输出的指静脉图片,经过图像加密,将加密图像文件存储。2.存储身份特征分布信息:接收来自特征提取模块的新增用户的多个特征向量,经过计算处理,生成该身份的特征分布信息,与用户输入名称打包存储。3.存储系统识别记录:记录来源于欺骗检测模块的伪造输入记录和身份认证模块的准入/拒绝记录,包含时间戳,本模块将原记录逐行存储。4.读取身份特征分布信息:读取全部内部人员的特征分布信息,输出到身份认证模块。5.读取系统识别记录:读取已有的系统识别记录,输出到系统用户界面,供系统管理员查看。

2.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(4)特征提取模块的网络结构具体包括:(1)用2D卷积BN层替代普通2D卷积层,旨在提高训练收敛速度。2D卷积BN层由2D卷积+BatchNormalization层+RELU组合而成。下文中简称为“卷积BN层”。

(2)由101浅层特征提取单元,102深层特征提取单元,103全连接特征映射单元,104L2正则单元组成。101浅层特征提取单元由6个卷积BN层和1个3*3最大化池化层组成,其中第一个和最后一个卷积BN层的步长为2。102深层特征提取单元由5个A型inception残差块、A型特征蒸馏块、10个B型inception残差块、B型特征蒸馏块、6个C型inception残差块、平均池化层和Dropout层组成。

(3)A型inception残差块的组成:第一分支B1由一个1*1卷积核的卷积BN层T1组成,第二分支B2由1*1卷积核的卷积BN层T2和3*3卷积核的卷积BN层T3组成,第三分支B3由1*1的卷积BN层T4和两个3*3的卷积BN层T5和T6组成。融合层T7将T1,T3和T6的输出融合,T7的输出再经过1*1的卷积BN层T8,融合层T9 将T8输出和原输入X融合,再经过Relu层后,作为最终输出。

(4)B型inception残差块的组成:第一分支B1由一个1*1卷积核的卷积BN层T1组成,第二分支B2由1*1的卷积BN层T2、1*7的卷积BN层T3和7*1的卷积BN层T4组成.融合层T5将T1和T4的输出融合,T5的输出再经过1*1的卷积BN层T6,融合层T7将T6输出和原输入X融合,再经过Relu层后,作为最终输出。

(5)C型inception残差块的组成:第一分支B1由一个1*1卷积核的卷积BN层T1组成,第二分支B2由1*1的卷积BN层T2、1*3的卷积BN层T3和3*1的卷积BN层T4组成.融合层T5将T1和T4的输出融合,T5的输出再经过1*1的卷积BN层T6,融合层T7将T6输出和原输入X融合,再经过Relu层后,作为最终输出。

(6)A型特征蒸馏块的组成:第一分支B1由一个3*3卷积核、步长为2的卷积BN层T1组成,第二分支B2由1*1卷积核的卷积BN层T2和两个3*3卷积核的卷积BN层T3和T4组成,其中T4步长为2,第三分支B3由3*3池化尺寸、步长为2的最大池化层T5组成。融合层T6将T1,T4和T5的输出融合,作为最终输出。

(7)B型特征蒸馏块的组成:第一分支B1由1*1的卷积BN层T1和3*3卷积核、步长为2的卷积BN层T2组成,第二分支B1由1*1的卷积BN层T3和3*3卷积核、步长为2的卷积BN层T4组成,第三分支B2由1*1卷积核的卷积BN层T5和两个3*3卷积核的卷积BN层T6和T7组成,其中T7步长为2,第四分支B3由3*3池化尺寸、步长为2的最大池化层T8组成。融合层T9将T2、T4、T7和T8的输出融合,作为最终输出。

(8)103全连接特征映射单元:将1792维的深层特征数据输入128维的全连接特征映射单元,得到128维指静脉特征向量。

(9)104 L2正则单元:对128维指静脉特征向量进行L2范数归一化处理,得到128维的L2距离的指静脉特征。

3.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(4)特征提取模块的基准模型训练方法具体包括:(1)三元对分组:输入为归一化后的样本图片及对应类别标签,根据分组规则,组合成三张样本为一组的输入方式,三张样本的组合规律为:一张指静脉样本,与之同一类别的另一张样本,与之不同类别的一张样本,这三张样本我们简称为锚点(Anchor,缩写为A),正例(Positive,缩写为P),负例(Negative,缩写为N)。模块使用的分组规则:从样本集中随机采样,按类别分开,称为Sample集。利用映射模型对全部采样样本进行映射,得到映射集Embedding。

从每个类别开始,两两成对,先组成(A,P)对。去除映射集中与A和P同类别的样本,对剩余样本针对A计算距离,找到所有符合类间距离–类内距离

(2)特征提取:将平铺的Triplets三元对集输入到特征提取模块中,输出得到128维特征向量组Output。反向传播训练:将Output重新排列成三元对形式,利用三元对损失函数进行反向传播:其中, 表示锚点A与正例P之间的距离, 表示锚点A与

负例N之间的距离,α(alpha)为人为设定的超参数(本专利中设为0.2)。

4.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(4)特征提取模块的迁移学习训练方案具体包括:(1)网络框架:在CycleGAN的基础上,改造出我们的迁移学习模型。我们将CycleGAN中的A域称为源域,命名为S。将B域称为目标域,命名为T。我们分别加入源域和目标域的特征提取模型。两个特征提取模型结构完全相同,但参数不同,训练时基于同样的损失函数,简称为Ltask。在迁移学习的网络结构中去除掉CycleGAN中的cycle consistency损失,将CycleGAN和特征提取模型一起进行联合训练。

(2)训练方法:目标域(真指静脉)的特征提取模型MT。

步骤1:对Xs和Xt分别进行采样

步骤2:利用联合损失函数公式1对GT→S,DS,MS进行联合训练。

公式联合损失为三部分的加和:针对目标域转换到源域数据的判别器生成器对抗损失、利用源域数据及标签,训练源域特征提取模型的损失、利用CycleGAN生成器GT→S将目标域图片Xt映射为源域数据Xs',然后利用Xs'和它原有标签,训练源域特征提取模型的损失。

步骤3:利用联合损失函数公式1对GS→T,DT,MT进行联合训练。

公式联合损失为三部分的加和:针对源域转换到目标域数据的判别器生成器对抗损失、利用目标域数据及标签,训练目标域特征提取模型的损失、利用CycleGAN生成器GS→T将源域图片XS映射为仿真目标域数据Xt',然后利用Xt'和它原有标签,训练目标域特征提取模型的损失。

步骤4:不断重复步骤1、2、3直至目标域特征提取模型收敛。

通过上述迁移学习流程,最终获得目标域(真指静脉)的特征提取模型。

5.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(1)图像采集预处理模块具体包括:(1)将样本统一尺寸至320*128

(2)以下公式对图片进行流明度归一化:

x*=(x-u)/σ。

6.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(2)样本质量评估模块具体包括:(1)对比度质量分数:我们主要利用图像的灰度均方差来评判对比度分数,其中,C为图像的灰度均方差,xi为图形中毎一个像素点的灰度值,N为图像中的像素总个数,为该图像的灰度平均值。对比度质量分数的求解方法为:

S1=S_contract=100 当C>45

S1=S_contract=C/45*100 当C≤45

(2)信息熵质量分数:

其中,p(i)为每个灰度级在图像中出现的概率,S为图像信息熵。

信息熵质量分数S_comentropy求解方法为:

S2=S_comentropy=100 when S_comentropy>5

S2=S_comentropy=S/5*100 when S_comentropy≤5(3)指静脉综合质量分数S_vein求解方法为:

7.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(5)身份认证模块具体包括:(1)身份比对方法:

从数据存储单元接收已有全部内部人员的身份特征分布信息,每一个身份对应了一个圆的中心点坐标(128维)和圆的半径;从特征提取模型接收一个128维向量,即来自某一指静脉图片的特征提取结果,为一个特征点(128维)。

基于欧式距离,判断该特征点与各圆的覆盖情况,分为以下三种情况:如果该点不被任何圆覆盖,那么该样本被判定为未知身份(外来人员),输出-1。如果该点仅被一个圆覆盖,那么该样本被判定为该圆对应的身份,输出为该身份对应编号及名称。如果该点被多个圆覆盖,那么判定为与该点距离最近的圆心的圆所对应的类别,输出身份对应编号及名称。

8.根据权利要求1,指静脉精准身份识别系统(VARS),其特征在于,所述模块(6)数据存储模块具体包括:(1)接收来自特征提取模块的新增用户的50个128维特征向量,进行kmeans聚类,聚类为两个簇,保留主要的簇。将每个特征向量视为一个128维空间内的点,针对这些点求中心点,然后求得每个点到中心店的距离,取这些距离的中位数乘以半径比率(超参数,可人为调整)为半径,形成一个圆,来近似该新增用户的正态分布。将该圆的中心点和半径作为该身份的特征分布信息,生成身份编号。