利索能及
我要发布
收藏
专利号: 2020109160603
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务卷积神经网络的掌纹ROI提取与增强的方法,其特征在于,所述方法包括如下步骤:

1)对样本进行训练前的准备工作,先将样本复制成两份,分别为A和B;对样本A进行BM3D去噪和Gabor小波滤波,以此来对样本进行图像增强处理;对样本B进行标记,分别标记训练样本的两个指间谷点和掌纹ROI区域;最后对标记后的训练样本进行数据扩充;

2)用步骤1)生成的训练样本来训练多任务卷积神经网络,得到用于掌纹ROI提取与增强的网络模型;

3)通过验证集验证训练好的多任务卷积神经网络模型并输出结果,并对结果进行矫正。

2.根据权利要求1所述的基于多任务卷积神经网络的掌纹ROI提取与增强的方法,其特征在于,所述步骤1)包括如下步骤:(11)所挑选的掌纹图像存在多种噪声,对这些图像进行去噪的目的是为了给后续的神经网络训练提供去噪的训练样本,用BM3D去噪算法对掌纹图像进行去噪操作;

(12)用Gabor小波对去噪后的掌纹图像进行滤波增强操作,Gabor小波变换是小波变换中的一种,是Gabor变换的正交化,通过Gabor小波对掌纹图像进行分解,然后在进行逆变换,在这个过程中通过改变相应参数来筛选重要的分量,以达到图像增强的目的;

(13)对训练样本的掌纹标记,标记位置为中指与其它两只手指间的谷点,标记大小为x像素*x像素;

(14)对训练样本的掌纹标记,标记位置为掌纹感兴趣区域,标记大小为y像素*z像素,如y=144,z=128;

(15)对上述操作后的m张掌纹图像进行数据扩充,扩充方式为对图像进行随机旋转和左右翻转,筛选仍保留掌纹主要信息的图像,以此作为神经网络训练的训练样本。

3.根据权利要求1或2所述的基于多任务卷积神经网络的掌纹ROI提取与增强的方法,其特征在于,所述步骤2)包括如下步骤:(21)构建一个多任务卷积神经网络模型,使其能够同时实现对掌纹图像的增强与分割,该网络将其分为三个部分,第一部分为共享部分,共享部分对掌纹图像进行下采样操作,将图像输入,进行2个卷积模块的操作,其中卷积核的大小为3*3,特征层为64,并经过最后一个卷积模块的输出保存;对其结果进行最大池化操作,再进行2个卷积模块的卷积操作,其中卷积核的大小为3*3,特征层为128,并经过最后一个卷积模块的输出保存;后续处理与上述相同,进行两次先池化后卷积,其对应的卷积模块的卷积核为3*3,特征层为256和卷积核为3*3,特征层为512;

(22)第二部分为独立部分,是掌纹图像分割部分,在第一部分输出的基础上对其进行上采样,上采样过程为3次反卷积和3次2个卷积模块的交叉操作,最终输出与原图相同大小的掌纹分割图,该部分的卷积层的卷积核为3*3,特征层大小依次为256、28、64,最后一次的卷积操作的卷积核为1*1,特征层为1;

(23)第三部分为独立部分,是掌纹图像增强部分,在第一部分输出的基础上对其进行上采样,上采样过程为3次反卷积模块和3次2个卷积模块的交叉操作,最终输出与原图相同大小的掌纹分割图,该部分的卷积层的卷积核为3*3,特征层大小依次为256、28、64,最后一次的卷积操作的卷积核为1*1,特征层为1;

(24)在上述构建的多任务卷积神经网络中,两个共享的卷积层的激活函数均为ReLU,在两个任务的独立卷积层中,掌纹ROI提取网络结构的最后一层激活函数为sigmoid,而掌纹图像增强网络结构的激活函数为ReLU;

(25)在上述训练过程中,多任务卷积神经网络总损失函数为:

Loss1+2=α*loss1+β*loss2

Loss1+2是多任务神经网络的总损失函数,α、β分别是对应每个任务预设的权重系数,loss1、loss2分别为多任务卷积神经网络中的掌纹ROI提取损失函数和掌纹图像损失函数,过程如下:(251)掌纹ROI提取的损失函数loss1定义为:

(252)掌纹图像增强的损失函数loss2定义为:

其中fi表示预测值;yi表示真实值。

4.根据权利要求1或2所述的基于多任务卷积神经网络的掌纹ROI提取与增强的方法,其特征在于,所述步骤3)包括如下步骤:(31)将需要处理的图像输入到训练好的多任务卷积神经网络中,比较网络的输出结果和测试集中的原始图像,计算损失函数,进行网络反向传播,直至损失函数保持稳定,输出结果图:掌纹标定图和掌纹增强图;

(32)对掌纹感兴趣区域标定图进行矫正处理,矫正步骤如下:

(321)连接两个谷点,可以画得直线和相对应垂线,将以此两条直线建立新的坐标轴,以两条直线交点为原点,先将掌纹图像以原点O为中心旋转角度θ,θ表示为:当θ为正值时,逆时针旋转掌纹图像;反之,则顺时针旋转掌纹图像,以此两个谷点为参照物,判断神经网络自动标定的掌纹感兴趣区域与谷点之间的距离;

(322)根据经验判断,可以确定掌纹感兴趣区域左侧边界距离谷点连接线的距离为两谷点距离的四分之一,右侧边界距离为两谷点距离的1.5倍,如果满足该条件,则标定结果不需要矫正,否则需要进行矫正处理;

(323)若不满足该结果,将对掌纹标定结果进行自动矫正,对掌纹感兴趣区域缺少部分进行填充,对多余部分进行还原。