利索能及
我要发布
收藏
专利号: 2023106877247
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于无监督超分辨率的三维指纹方法,其特征在于,包括如下步骤:

1)构建无监督超分辨率网络模型;

2)使用系统采集的条纹投影指纹图像,通过超分辨率网络模型来提高条纹投影指纹图像的分辨率,利用超分辨率后的图像进行三维重建,得到指纹的三维结构;

所述步骤1)包括如下步骤:

(11)构建无监督超分辨率网络架构;在前向循环中使用m×n条纹投影指纹图像x作为网络的输入,通过上采样生成器GU得到2m×2n条纹投影指纹图像GU(x);接下来通过下采样生成器GD得到m×n条纹投影指纹图像GD(GU(x));后向循环中仍然采用m×n条纹投影指纹图像x作为网络的输入,通过下采样生成器GD得到0.5m×0.5n条纹投影指纹图像GD(x),下采样图像的分布尽可能接近输入的条纹投影指纹图像;然后,鉴别器DD将学习真实图像x与虚假图像GD(x);接下来通过上采样生成器GU得到m×n条纹投影指纹图像GU(GD(x));

构建上采样生成器;在上采样生成器GU中,对图像的两端分别添加一个像素,以便在上采样时避免边界效应;接着预定义了一个双线性的核进行卷积操作;它是一个4D张量,其中每个元素都是一个2×2的张量,表示一个像素在上采样过程中如何分配其权重;然后使用pixel_shuffle方法进行上采样,将图像的高和宽分别放大2倍,并将图像两端的边缘像素删除以恢复原始大小;接着在经过8个卷积核为3×3、步幅为1、填充为1的八个卷积层,并且统一使用Relu作为激活函数;最后将使用pixel_shuffle方法进行上采样的输出结果与最终的输出结果添加跳跃连接,方便网络可以学到更多的信息;在初始化上采样生成器的权重和偏置中,对于卷积层,使用Kaiming初始化方法来初始化权重,这种方法可以考虑到Relu激活函数的非线性特性,以及网络深度对权重分布的影响;同时,将偏置初始化为0;

构建下采样生成器;在下采样生成器GD中,使用六个卷积层;其中第一层的卷积,卷积核为7×7、步幅为1;第二层的卷积,卷积核为5×5;第三层的卷积,卷积核为3×3;第四层和第五层卷积,卷积核为1×1、步幅为2;最后一层的卷积,卷积核为1×1;在初始化下采样生成器的权重和偏置中,对于卷积层,使用正态分布来初始化权重,这个分布的标准差是1/sqrt(n),其中n是输入特征的数量;这个初始化方法确保了每个神经元的输入分布具有相同的方差,从而提高了网络的稳定性;同时,将偏置初始化为0;

构建鉴别器;在鉴别器DD中,使用七个卷积层;其中第一层的卷积,卷积核为7×7、步幅为1,之后使用谱归一化技术来稳定训练;第二层到第五层的卷积,卷积核为1×1、步幅为1,之后同样使用谱归一化来稳定训练,接着使用批归一化,激活函数使用Relu函数;最后一层的卷积、卷积核为1×1、步幅为1、使用谱归一化来稳定训练;在初始化鉴别器的权重和偏置中,对于卷积层,使用Xavier初始化方法来初始化权重并用Sigmoid激活函数来输出0‑1之间的值,表示真实图像/合成图像的分类;在初始化,这种方法考虑了输入和输出特征的数量和大小,以确保网络的权重分布广泛;同时,将偏置初始化为0;对于批归一化层,使用正态分布来初始化权重,并将偏置设置为0;

(12)构建损失函数,训练上采样器和下采样的总损失函数为:

Ltotal=LGAN+λcycleLcycle+λinterLinter                               (1)其中λ代表不同损失函数的权重;LGAN为下采样生成器对抗损失函数,Lcycle为周期一致性损失函数,Linter为二值化插值损失函数。

2.根据权利要求1所述的基于无监督超分辨率的三维指纹方法,

其特征在于,所述步骤(12)包括如下步骤:

(121)构建对抗损失:使用生成对抗网络GAN来准确估计图像的退化核;这个网络保证下采样后的LR图像的各个尺度都与下采样之前的原图分布保持不变;下采样生成器GD是一个退化过程的模型,是对输入图像进行下采样,使得鉴别器无法将输出GD(x)和从输入图像裁剪的补丁区分开来;把下采样生成器对抗损失定义为:其中R是正则化项是对估计的模糊核应用于现实先验知识;同时鉴别器尝试把下采样生成器GD生成伪造图像与输入的图像的真实补丁区分开来;鉴别器的损失函数定义为:在前向循环的上采样中没有添加鉴别器DD;因为在前向循环中没有HR图像作为对比,它就没有帮助;单纯添加鉴别器会导致输出图像出现不必要的伪影;

(122)构建周期一致性损失:在无监督超分辨率条纹投影网络训练中,前向循环一致性和后向循环一致性都起着关键的作用;首先,在前向循环中有利于下采样生成器GD训练的收敛,同时也帮助上采样生成器GU生成高分辨率的图像;其次,在后向循环中上采样生成器学习从下采样生成器GD生成的低分辨率图像并重建图像;最后周期一致性损失函数为前向循环损失和后向循环损失之和:(123)构建二值化插值损失:上采样生成器GU由于没有真值HR图像,在输出图像会出现模糊现象,而且谷脊纹理不清楚;此外,在输出图像的低频区域会出现一些伪影;当下采样生成器不能准确估计模糊核时,这个问题就会更加严重;为了消除这些影响,引入一个插值损失函数,该函数在保证指纹谷脊对比度不变的情况下,最小化双三次上采样图像与上采样生成器GU输出之间的差异;双三次插值可以正确对低频的区域进行采样是一个先验知识,但不能重建高频的细节;因此,对每个像素都应用统一的代价都会生成模糊的条纹投影指纹图像;为了避免模糊,只对图像的低频部分应用二值化插值;为此,通过对输入图像应用指纹二值化和双三次生成频率掩码fmask:fmask=1‑Bicubic(Thershold(x))                               (5)其中,由于通过结构光采集到的条纹投影指纹是一种非接触式的指纹,这种非接触式指纹图像通常对比度较低,直接对它进行二值化效果不理想,因此需要使用专门的方法提高条纹投影图像的对比度,然后采用对这些条纹投影图像进行传统的基于接触的指纹增强算法;定义二值化插值损失函数:它鼓励上采样生成器GU在指纹图像低频进行双三次插值,同时减少边缘模糊和保持谷脊对比度。

3.根据权利要求1所述的基于无监督超分辨率的三维指纹方法,其特征在于,所述步骤

2)包括如下步骤:

(21)使用系统采集条纹投影指纹图像,通过超分辨率网络模型提高系统采集条纹投影指纹图像的分辨率;

(22)利用超分辨率后的图像进行三维重建,得到指纹的三维结构;其中,三维重建步骤如下:

(221)将超分辨率后的条纹投影指纹使用四步相移进行相位提取和相位解缠,得到连续相位;

(222)三维重建除了需要连续相位,还需要获得像素坐标系到世界坐标系的转化关系;

其中条纹投影图像属于像素坐标系,然而重建后的三维指纹属于世界坐标系;像素坐标系可以转化为图像坐标系,图像坐标系可以转化为相机坐标系,相机坐标系可以转化为世界坐标系;为了确定相机的内参和外参,使用张正友标定法;由于超分重建的图像分辨率大小是输入图像分辨率乘以缩放因子,为此需要对超分重建后的图像像素坐标除以缩放因子,将物理位置拉回和原始输入图像一样大小;最后,使用连续相位和转化关系得到三维指纹。