1.一种肢体康复训练系统,其特征在于:包括辅助训练设备硬件实体和数据库端(4)及专家系统端(3),辅助训练设备硬件实体包括嵌入式电脑(2)、摄像头(6)、显示终端(5)、训练器材(1)和摄像头(6)。
2.根据权利要求1所述的一种肢体康复训练系统,其特征在于:所述实体摄像头(6)和显示终端(5)都与和嵌入式电脑(2)连接,嵌入式电脑(2)用网线或局域网与数据库端(4)连接,嵌入式电脑(2)通过网络连接专家系统端(3)。
3.一种肢体康复训练方法,其特征在于包括以下步骤:A搭建上述康复训练系统,摄像头(6)的位置根据当前运动模式进行固定;
B收集康复训练病人的病历数据集,并对数据集进行标注用于训练算法模型;
C改进人体姿态估计网络结构,采用轻量化特征提取网络为主干网络,调整网络结构和激活函数;
D人体姿态估计算法模型在训练时增加数据增强方法,采用增加预热训练模式的余弦学习率下降方式训练网络;
E将训练好的算法模型采用FP16进行量化后部署到嵌入式电脑(2)上,算法推理得到关键点结果用含有权值的二部图匹配算法得到关键点的连接关系;
F系统工作时,显示终端(5)提示病人需要做的动作,随即病人执行动作;嵌入式电脑(2)读取摄像头(6)拍摄的图像送入人体姿态估计算法得到估计动作,再用余弦相似度方法计算估计的动作和程序要求动作的相似度,从而完成当前动作评估,同时提醒康复训练病人及时调成可得到更高的评估分值。
4.根据权利要求3所述的一种肢体康复训练方法,其特征在于:步骤C中替换人体姿态估计主干网络为MobileNetV1并在网络输出处添加卷积计算调整特征图通道128和长宽为
46x46;调整热图和亲和场向量提取网络,将这两个提取分支调整为共享权重减少计算量,热图和亲和场特征提取重复两次,网络的损失计算为L2损失:其中 表示预测热图与标签热图的误差值t表示当前是那个后处理阶段, 表示标签值, 表示预测值,j表示当前特征图属于哪个关键点图层W(p)是0和1的mask图层当为
0时表示当前像素值无效,不进行损失计算反之则进行损失计算,总损失为两个损失函数累加如式(3)所示。
5.根据权利要3所述的一种肢体康复训练方法,其特征在于:步骤D中训练网络学习率下降采用预热训练加余弦学习率下降,计算式如(4)所示,其中ηmax表示学习率最大值,ηmin表示学习率最小值,Twarm表示预热训练的迭代次数x表示预热所处时刻,Tcur表示余弦学习率当前时刻,
6.根据权利要求3所述的一种肢体康复训练方法,其特征在于:步骤E中用FP16量化的算法部署在嵌入式端,算法出结果只含有热图信息和亲和场信息,还需对多人关键点信息进行匹配,得到关键点的连接关系;采用增加权值二部图方法对关键点对进行匹配,权值来源于关键点对之间的亲和场预测值进行积分运算如式子(5)所示;
在(5)式子中 和 表示关键点对的坐标E表示当前关键点对的权值,Lc表示坐标位置的置信度,在(6)式子中p(u)表示关键点对之间的坐标;关键点对设置为[[c,d],[d,e],[e,f],[g,h],[i,j],[j,k],[l,m],[m,n],[o,p],[b,i],[b,l],[b,c],[b,f],[c,q],[f,r],[a,o],[a,p],[o,q],[p,r]]。
7.根据权利要求3所述的一种肢体康复训练方法,其特征在于:步骤F所述的用余弦相似度方法计算人体姿态与指令给定姿态相似度得出康复训练结果评估分值,具体是用余弦相似度的方式计算19对预测躯干和给定躯干的角度大小求和后取均值计算出当前动作评估分值,计算式如(7)所示:
其中Pi表示预测的躯干对,Qi表示指令给定躯干对,n为有效躯干对的数量最大值为19,排除掉无效躯干对。