1.基于混合现实的手功能训练系统,其特征是:包括测试装置、位姿采集装置和虚拟现实平台,其中:所述测试装置包括至少一抓握部件和多个传感器,所述抓握部件包括一中空的壳体,所述壳体具有至少两个弧形区域和凹部,第一弧形区域设置有至少一力/力矩传感器,第二弧形区域设置有至少四个并排设置的力/力矩传感器;所述凹部与所述弧形区域不在同一平面上;所述力/力矩传感器用于接收对应手指的抓握信息,并上传至所述虚拟现实平台;
所述位姿采集装置,包括若干拍摄现实场景图像和物理实体位置、姿态图像的图像采集设备,所述物理实体包括手/手臂和待抓握物体;
所述虚拟现实平台,包括处理器和虚拟现实设备,所述处理器接收所述现实场景图像,形成具有形状匹配性的虚拟物体,并将物理实体的准确位置和姿态数据映射到虚拟空间的虚拟物体上,反馈至虚拟现实设备上,使虚实物体间形成位置和姿态的实时准确匹配;根据所述抓握信息得到各手指的抓握参数。
2.如权利要求1所述的基于混合现实的手功能训练系统,其特征是:所述第一弧形区域和第二弧形区域相对或近似相对设置,与手的五指抓握所述抓握部件式各手指所在区域相吻合。
3.如权利要求1所述的基于混合现实的手功能训练系统,其特征是:所述力/力矩传感器设置于第一弧形区域或第二弧形区域的内侧,且其受力面与所述弧形区域相匹配。使得使用者在能够抓握住所述抓握部件时,对应的力/力矩传感器就可以采集到各手指的抓握信息。
4.如权利要求1所述的基于混合现实的手功能训练系统,其特征是:所述力/力矩传感器为六维传感器,能够采集受力大小和受力方向。
5.如权利要求1所述的基于混合现实的手功能训练系统,其特征是:所述凹部呈漏斗状;
或,所述壳体内具有一定的容纳空间,以放置重物产生偏转力矩。
6.基于权利要求1-5中任一项所述的系统的数据处理方法,其特征是:包括以下步骤:对采集的图像进行语义分割,去除图像噪音;
将处理后的图像映射至虚拟空间内;
下达手功能训练任务,接收执行任务过程中采集的动力学数据和物体运动学数据,提取特征参数,进行多元回归分析,得到任务完成的评估指数。
7.如权利要求6所述的数据处理方法,其特征是:所述去除图像噪音的具体过程包括:对于每一幅分割后图像,如果某一像素点对于所有目标的概率描述都小于设定值,则这一像素点被删除;使用K-最近邻异常检测算法,去除掉距离密集点集合超过设定范围的孤立的点,利用主成分分析计算每个分割目标的最大连续点集,并移除任意与该点集不相交的异常点。
8.如权利要求6所述的数据处理方法,其特征是:将处理后的图像映射至虚拟空间内的具体过程包括:通过ICP算法估计物体的姿态,设物体预扫描的点云和实际得到的点云,将得到的物体相对于相机的坐标经过透射变换变为相对于虚拟现实设备的虚拟世界坐标。
9.如权利要求6所述的数据处理方法,其特征是:所述动力学数据包括抓握位置平均偏移量、压力变化和压力迁移;
所述运动学参数包括任务执行时间、移动路径长度和平均速度;
提取各个参数的特征,进行标准化,形成多维向量,利用多维向量进行多元回归得到的目标函数,利用萤火虫种群进行优化求解,得到手功能的功能评估指数。
10.一种计算机可读存储介质或终端设备,其特征是:其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求6-9中任一项所述的数据处理方法。