1.一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,包括如下步骤:S1:采集手部视频样本,并提取手部视频样本中每帧图像的手部关键点;
S2:基于所述手部关键点计算每帧图像的距离分数和位移分数,其中,距离分数代表手掌距离相机的距离,位移分数代表相邻两帧之间手掌的移动距离;计算距离分数和位移分数的加权和作为帧分数,并选取帧分数最小的图像作为关键帧,如两帧及以上的图像具有相同的最小帧分数,则随机选取一帧作为关键帧;
S3:采用双阶段掌纹预处理方法TSPP对所述关键帧进行处理,第一阶段通过手部关键点辅助定位,划定指间谷底的大致范围,第二阶段使用改进的Deeplab V3+语义分割网络分割指间谷底区域,将指间谷底的最低点作为参考点,定位掌纹感兴趣区域ROI;
所述改进的Deeplab V3+语义分割网络使用轻量级MobileNetV2网络替换Deeplab V3+语义分割网络的原主干特征提取网络Xception,并在原Deeplab V3+语义分割网络的解码器decoder中增加了一次1/2大小的特征融合层;对构建好的改进的Deeplab V3+语义分割网络进行训练;
S4:对掌纹感兴趣区域ROI进行掌纹识别。
2.根据权利要求1所述的一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,所述步骤S1的具体方法为:S101:手部尤其是指缝区域在规避肤色背景下的画面中保持张开并且相对于镜头静止;
S102:通过关键点定位模型对每帧图像提取手部关键点。
3.根据权利要求2所述的一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,所述步骤S2的具体方法为:S201:依据手部关键点坐标计算掌心中心点P的坐标;
S202:依据所有手部关键点坐标中的横坐标最大值xh1、横坐标最小值xh2、纵坐标最大值yh1和纵坐标最小值yh2,计算每帧手部图像中手部面积与整体图像面积的比值,作为每帧手a部图像的距离分数S;
S203:依据每帧手部图像与前后相邻帧中同一手部关键点的位移分数加权总和,分别a+ a‑ a+计算每帧手部图像与前一帧的位移分数D 和后一帧的位移分数D ,并取位移分数D 和位a‑ a a+ a‑移分数D 的均值作为每帧手部图像的位移分数D;其中,在计算位移分数D 和位移分数D时,距离掌心中心点P越远的手部关键点,加权权重越低;
a a
S204:将每帧手部图像的距离分数S 和每帧手部图像的位移分数D进行加权,作为每帧a图像的帧分数W ,并选取帧分数最小的图像作为关键帧,如两帧及以上的图像具有相同的a最小帧分数,则随机选取一帧作为关键帧;其中,在计算每帧图像的帧分数W时,手部图像a a的距离分数S的权重大于手部图像的位移分数D的权重。
4.根据权利要求3所述的一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,所述步骤S102中,采用MediaPipe模型提取手部关键点,所述MediaPipe模型提取的手部关键点数量为21个;
所述掌心中心点P的坐标计算公式如下:
其中,xP为掌心中心点P的横坐标,yP为掌心中心点P的横坐标;xn为第n个手部关键点的横坐标,yn为第n个手部关键点的纵坐标,n为手部关键点编号,n=0,1,……,20;
a
所述距离分数S的具体计算公式如下:
xh2=min(x0,x1,…x20);
yh1=max(y0,y1,…y20);
yh2=min(y0,y1,…y20);
其中,a为帧数的编号,w为手部图像的长度,s为手部图像的宽度;
a
所述位移分数D的具体计算公式如下:
a a‑ a+
D=(D +D )/2;
其中,dn‑为第n个手部关键点在当前帧与前一帧之间的位移,dn+为第n个手部关键点在当前帧与后一帧之间的位移,dnp为当前帧中第n个手部关键点与掌心中心点P之间的距离;
a
每帧图像的分数W的具体计算公式如下:
a a a
W=D+S×16。
5.根据权利要求3所述的一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,所述步骤S3中切取出掌纹感兴趣区域ROI的具体步骤为:S301:根据手部关键点计算食指与中指指缝定位框的左上角坐标(xf1,yf1)和右下角坐标(xf2,yf2),以及无名指与小拇指指缝定位框的左上角坐标(xr1,yr1)和右下角坐标(xr2,yr2),从而划定食指与中指指缝定位框及无名指与小拇指指缝定位框,并使用定位框裁剪出食指与中指指缝区域及无名指与小拇指指缝区域;
S302:对裁剪出的食指与中指指缝区域及无名指与小拇指指缝区域分别向边界内缩小
10%,以减少非肤色的背景区域干扰;
S303:将裁剪后的食指与中指指缝区域及无名指与小拇指指缝区域作为样本集输入所述改进的Deeplab V3+语义分割网络中进行训练,样本集随机划分为训练集与验证集;所述改进的Deeplab V3+语义分割网络在原DeepLab V3+语义分割网络的结构中增加了一个大小为1/2的特征融合层,所述特征融合层的输出与解码器decoder的特征进行二次融合,分割出最终的食指与中指指缝图片及无名指与小拇指指缝图片;
S304:将分割出的指缝图片二值化,并进行逐行扫描像素点,找到非手部区域的像素的最低点并与食指与中指指缝定位框的左上角的坐标(xf1,yf1)和无名指与小拇指指缝定位框的左上角的坐标(xr1,yr1)相加,得到食指与中指指缝谷点以及无名指与小拇指指缝谷点在整个图片中的位置;记两个指缝谷点连线的长度为d,垂直于连线中点向下距离为0.3d的位置,以0.9d为边长,切取出掌纹感兴趣区域ROI。
6.根据权利要求5所述的一种基于手势的非接触式动态视频掌纹识别方法,其特征在于,所述食指与中指指缝定位框的左上角坐标(xf1,yf1)和右下角坐标(xf2,yf2)的具体计算公式为:xf1=min(x5,x6,x9,x10)+[max(x5,x6,x9,x10)‑min(x5,x6,x9,x10)/10];
yf1=min(y5,y6,y9,y10)+[max(y5,y6,y9,x10)‑min(y5,y6,y9,y10)/10];
xf2=max(x5,x6,x9,x10)‑[max(x5,x6,x9,x10)‑min(x5,x6,x9,x10)/10];
yf2=max(y5,y6,y9,y10)‑[max(y5,y6,y9,x10)‑min(y5,y6,y9,y10)/10];
所述无名指与小拇指指缝定位框的左上角坐标(xr1,yr1)和右下角坐标(xr2,yr2)的具体计算公式为:xr1=min(x13,x14,x17,x18)+[max(x13,x14,x17,x18)‑min(x13,x14,x17,x18)/10];
yr1=min(y13,y14,y17,y18)+[max(y13,y14,y17,y18)‑min(y13,y14,y17,y18)/10];
xr2=max(x13,x14,x17,x18)‑[max(x13,x14,x17,x18)‑min(x13,x14,x17,x18)/10];
yr2=max(y13,y14,y17,y18)‑[max(y13,y14,y17,y18)‑min(y13,y14,y17,y18)/10]。