1.一种基于多特征融合的手指灵活性的检测方法,其特征在于,包括以下步骤:步骤1、利用RGB相机拍摄正常人和有手部功能障碍的人在设计好的游戏环境下运动的敲击键盘的手部运动视频;
步骤2、在手指运动的同时记录下手指敲击键盘的时间序列并根据时间序列得到手指敲击键盘前后瞬间的视频帧集合;
步骤3、将采集到的视频分别提取成图像,将提取的图像作为输入数据输入到OpenPose中得到手部关节的坐标点集合;
步骤4、根据步骤2和步骤3得到的结果,计算正常人和有手部功能障碍人的手部手指运动的角速度;
步骤5、计算正常人和有手部功能障碍人敲击键盘每个手指的准确率;
步骤6、将步骤4得到的角速度和步骤5得到的准确率融合,通过SVM训练,得到手指灵活性检测模型,判断并分别出手部功能障碍的人群;
所述步骤2具体包括以下步骤:
步骤2.1、利用程序记录RGB相机拍摄视频开始的时间TS和食指、中指、无名指、小指正确敲击键盘瞬间的时间序列TI、TM、TR、TL,并存储到MYSQL数据库中;
步骤2.2、利用公式Tspan=TI‑TS计算四个手指所对应的时间间隔;
步骤2.3、计算每个视频帧相对于第一帧所对应的的时间间隔步骤2.4、根据判断 和Tspan是否相等,若相等,则将所对应的视频帧加入到视频帧集合I中;
步骤2.5、根据步骤2.4的方法求出食指、中指、无名指、小指敲击键盘瞬间的视频帧序列集合II、IM、IR、IL;
步骤2.6、根据步骤2.5得到的视频帧集合,从提取的视频帧集合IC中得到视频帧Ii中每一帧所对应的前n帧,基于帧间差分的平均强度最大值的方法的到差分结果最大的视频帧,作为敲击键盘瞬间的前一时刻的视频帧;
步骤2.7、重复步骤2.6得到食指、中指、无名指、小指的敲击键盘瞬间的前一时刻的视频帧IIPro、IMPro、IRPro、ILPro;
所述步骤3具体包括以下步骤:
步骤3.1、将所有拍摄的视频提取成视频帧集合IC;
步骤3.2、将视频帧集合IC输入到OpenPose中得到IC中每一帧的手部关节点坐标,得到一个坐标点集合C;
所述步骤4具体包括以下步骤:
步骤4.1、根据II、IIPro以及食指关节标记从集合C中得到食指关节的坐标点,并存在Excel中;
步骤4.2、重复步骤4.1得到中指、无名指、小指的坐标点;
步骤4.3、根据如下公式计算食指运动前后的角度变化;
其中θ为角度变化,(x1,y1)、(x3,y3)为掌指骨关节的坐标,(x2,y2)、(x4,y4)为远端指骨关节坐标,π为圆周率;
步骤4.4、重复步骤4.3计算中指、无名指、小指运动前后的角度变化;
步骤4.5、根据以下公式计算食指运动的角速度;
其中ω为角速度,θ为角度变化,i∈IIPro、j∈II;
步骤4.6、重复步骤4.5计算中指、无名指、小指的角速度;
步骤4.7、计算食指、中指、无名指、小指角速度的平均值;
所述步骤5具体包括以下步骤:
步骤5.1、根据对敲击键盘时所作的规定让4个手指敲击键盘的指定区域,记录下手指敲击键盘时每个区域中按键被按下的按键集合并存入MySql中;
步骤5.2、手指正确按下的按键从游戏环境中得到,并存入MySql中;
步骤5.3、从MySql中取出每个手指按下按键的集合以及手指正确按下按键的集合并分别统计其个数M和N;
步骤5.4、根据如下公式计算食指敲击键盘的准确率A;
其中,M表示每个手指正确敲击键盘的次数、N表示每个手指敲击键盘的总次数;
步骤5.5、重复步骤5.1‑5.4计算中指、无名指、小指敲击键盘的准确率A;
所述步骤6具体包括以下步骤:
步骤6.1、将步骤4和步骤5得到的手指运动角速度平均值和敲击键盘的准确率进行融合,作为新的特征向量;
步骤6.2、将得到的正常受试者和手部功能障碍受试者的特征向量分别标记为”1”和“‑
1”,然后将数据集划分为训练集和测试集进行训练,其中,包含了训练数据和训练标签以及测试数据和测试标签,将其分为训练数据和测试数据两部分,通过寻优函数获取当前数据的最优参数,使用得到的优化后的参数再通过SVMtrain函数训练数据,得到训练完的模型,最后使用SVMpredict函数进行测试,得到带有标记“1”和“‑1”的分类标签;
步骤6.3、将融合后的得到的新向量作为SVM的输入,训练SVM模型,若输出的手指灵活性标记为“1”,则被区分为正常人,说明灵活性好,若输出的手指灵活性标记为“‑1”,则被区分为非正常人,说明手指灵活性不好。