利索能及
我要发布
收藏
专利号: 2020105393233
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:所述方法包括以下步骤:

步骤1:获取视频图像,分割任一视频图像中的手部区域;

步骤2:基于分割得到的手部区域,获取对应的视频图像中与手势轨迹相关的关键点,构建基于关键点的手势轨迹;所述步骤2包括以下步骤:步骤2.1:基于分割得到的手部区域找到质心,获得质心的位置坐标;

步骤2.2:若当前质心为第一个质心,则以当前质心为第一个关键点;若当前质心不为第一个质心,则基于当前质心的位置坐标,计算当前质心与上一个关键点间的角度的变化量和距离,并将处于阈值范围内的质心记录为新的关键点;

步骤3:以基于因果卷积和空洞卷积改进的TextCNN对手势轨迹的信息进行特征提取,并将特征序列输入LSTM;

基于因果卷积和空洞卷积改进的TextCNN包括并列设置的卷积核大小不相等的3个一维卷积层的输入端,任一所述一维卷积层的输出端连接至对应的最大池化层的输入端,三个所述最大池化层的输出端连接至连接层的输入端,所述连接层的输出端连接至LSTM;所述3个一维卷积层的卷积核分别为2、3、4;输入任一一维卷积层的为长度为100的一维张量,所述一维张量包括关键点的角度的变化量和距离,长度不足100的以0填充;

步骤4:以基于变化的输出层结构改进的LSTM对所述特征序列进行回归预测;

基于变化的输出层结构改进的LSTM包括预设的LSTM和设于LSTM的输出端的全连接层;

所述全连接层输出一维张量L,L包括首尾相连的10个子张量,对每一个子张量对应的轨迹识别有效轨迹的中心点,若存在有效轨迹的中心点,则基于此中心点预测有效轨迹的起点、终点和类型;对每个子张量进行两次预测,得到的就是20个结果;

步骤5:从预测结果中聚类筛选出最可信的结果,定位和识别轨迹中存在的有效部分。

2.根据权利要求1所述的一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:所述步骤1中,将获取的视频图像转换至YCrCb颜色空间,基于在Cr和Cb分量上预设的阈值,去除视频图像中的非肤色区域,分割得到手部区域。

3.根据权利要求1所述的一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:令当前图像中手部质心的坐标为(xt,yt)、已经记录下来的关键点的坐标为 得到质心与最新的关键点间的x轴坐标差 y轴坐标差 关键点间的x轴坐标差 关键点间的y轴坐标差 则有关键点之间的角度的变化量 距离Dis=||At,l,Bt,l||2;其中,t为当前质心所属帧数,l为当前关键点所属帧数。

4.根据权利要求1所述的一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:池化层进行2×2的池化,连接层输出长度为50的一维张量,输入LSTM。

5.根据权利要求1所述的一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:以IOU代表预测位置与实际位置的交并比,满足其中,Rpr9dic、Lpr9dic和Wpr9dic分别为预测结果中有效轨迹的终点、起点和长度的预测值,Rtruth、Ltruth和Wtruth为预测结果中有效轨迹的终点、起点和长度的实际值。

6.根据权利要求5所述的一种基于回归检测的实时动态手势轨迹识别方法,其特征在于:所述步骤5包括以下步骤:

步骤5.1:以20个结果为集合A,对集合A计算置信度Con,Con=Pr(object)×IOU,存在有效轨迹中心点时,Pr(object)为1,否则为0;

步骤5.2:去除置信度小于阈值ath的值对应的集合A中的结果;ath=0.3;

步骤5.3:将剩余结果按置信度从小到大排列,得到一个新的集合B;

步骤5.4:计算集合B中第一项与其他每一项的交并比,若第一项与其他任一项的交并比大于阈值bth,则删去所述其他任一项;bth=0.2;

步骤5.5:重复步骤5.4,直到集合B中剩余每项间IOU都小于0.2,以剩余结果为这次检测的最终结果,得到对应的有效轨迹。