1.一种基于虚拟现实的健身监测装置,其特征在于,包括:计算机、椭圆机、显示器和摄像头,所述椭圆机的把手上设有心率传感器,所述计算机与心率传感器通信连接;所述摄像头用于采集用户图像,所述计算机与摄像头通信连接;所述计算机用于根据摄像头采集的用户图像进行姿态监测、根据心率传感器采集的心率数据和摄像头采集的用户图像进行情感分析监测,输出监测结果至显示器。
2.根据权利要求1所述的一种基于虚拟现实的健身监测装置,其特征在于,所述椭圆机的把手上设有转向按钮、转盘上设有角度传感器,所述计算机与转向按钮、角度传感器、显示器通信连接,所述计算机用于根据转向按钮和角度传感器采集的数据,控制虚拟人在虚拟场景中移动,输出虚拟场景及虚拟人的第三视角画面至显示器。
3.基于权利要求1‑2任一项所述的一种基于虚拟现实的健身监测方法,其特征在于,包括:获取用户参与健身时心率传感器采集的心率数据、摄像头采集的用户图像;
将所述用户图像输入预训练的姿态识别模型,对用户健身时的姿态进行识别,输出姿态识别的监测结果;
将所述用户图像进行裁剪,得到用户面部图像,将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型,对用户健身时的情感状态进行分析,输出情感分析的监测结果。
4.根据权利要求3所述的基于虚拟现实的健身监测方法,其特征在于,所述预训练的姿态识别模型为:以预训练的VirtualPose人体姿态检测模型作为教师模型,将Lite‑HRNet‑
18模型作为学生模型的骨干模型,利用基于知识蒸馏的训练框架训练学生模型,训练得到的学生模型为预训练的姿态识别模型。
5.根据权利要求4所述的基于虚拟现实的健身监测方法,其特征在于,所述基于知识蒸馏的训练框架包括:教师模型及其对应的自监督模块、学生模型及其对应的自监督模块、条件生成对抗网络模块,所述利用基于知识蒸馏的训练框架训练学生模型,包括:利用学生模型的输出与训练数据集标签之间的损失Lgt、学生模型的输出与教师模型的输出之间的损失Lkd,对学生模型进行训练;
利用学生模型对应的自监督模块的输出与教师模型对应的自监督模块的输出之间的损失Lss,将教师模型的知识传递至学生模型;
以教师模型作为监督,利用条件生成对抗网络模块生成具有教师模型特性的生成样本,利用所述生成样本训练学生模型,以传递教师模型的知识。
6.根据权利要求3所述的基于虚拟现实的健身监测方法,其特征在于,所述将所述用户图像输入预训练的姿态识别模型,对用户健身时的姿态进行识别,输出姿态识别的监测结果,包括:使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧;
将图片帧输入预训练的姿态识别模型,得到人体姿态的骨骼关键点的3D坐标;
基于预设的骨骼顺序连接人体姿态的骨骼关键点,得到实时的人体姿态的骨骼连线,基于臀部中心关键点与脖子关键点得到实时的人体上身骨骼连线;
计算实时的人体上身骨骼连线与基准人体上身骨骼连线之间的弯曲误差,通过式(1)计算两条连线的夹角θ为弯曲误差:式(1)中, 为基准人体上身骨骼连线, 为实时的人体上身骨骼连线,通过下式表示:式(2)中, 为人体上身骨骼连线的计算通式,i的取值为0或1, 为臀部中心关键点的3D坐标, 为脖子关键点的3D坐标, 为臀部中心关键点的在x方向上与原点的距离,yAi为臀部中心关键点的在y方向上与原点的距离, 为臀部中心关键点的在z方向上与原点的距离, 为臀部中心关键点的在x方向上与原点的距离, 为臀部中心关键点的在y方向上与原点的距离, 为臀部中心关键点的在z方向上与原点的距离;
当计算得到的夹角θ小于等于预设阈值时,输出姿态识别监测结果为正常;当计算得到的夹角θ大于预设阈值时,输出姿态识别监测结果为异常。
7.根据权利要求3所述的基于虚拟现实的健身监测方法,其特征在于,利用多模态数据集训练预设的多模态情感分析模型,得到所述预训练的多模态情感分析模型;所述多模态数据集,通过以下步骤制作得到:获取用户在体验所述一种基于虚拟现实的健身监测装置时的原始心率数据和原始用户图像;
将原始用户图像进行裁剪,得到原始用户面部图像;
将获取到的原始心率数据进行归一化操作,得到第一序列,计算第一序列的均值,将第一序列中每个数据与第一序列的均值作差,得到第二序列;
按照时序将所述原始用户面部图像与第二序列对齐,得到对齐数据;
对所述对齐数据进行人工情感标注,得到每组对齐数据的情感类型,得到所述多模态数据集;其中,所述情感类型包括积极、消极和中性。
8.根据权利要求3所述的基于虚拟现实的健身监测方法,其特征在于,将所述用户图像进行裁剪,得到用户面部图像,将所述心率数据和所述用户面部图像输入预训练的多模态情感分析模型,对用户健身时的情感状态进行分析,输出情感分析的监测结果,包括:使用OpenCV库获取摄像头实时采集的所述用户图像的图片帧,对图片帧进行裁剪,得到以用户面部为中心的面部图片帧;
利用长短期记忆网络对所述心率数据进行特征提取,得到用户的心率特征;
利用面部行为分析工具OpenFace对所述面部图片帧进行分析,得到用户的面部微表情特征;
将用户的心率特征和用户的面部微表情特征进行特征层级上的信息融合,得到融合特征;
基于所述融合特征对用户健身时的情感状态进行分析,识别用户当前的情感类型为积极、消极、中性中的一种,输出情感分析的监测结果。
9.根据权利要求3所述的基于虚拟现实的健身监测方法,其特征在于,还包括:获取用户参与健身时转向按钮和角度传感器采集的数据;
基于转向按钮采集的转向信号,控制虚拟场景中虚拟人的转向;根据角度传感器采集的角速度数据,处理为用户参与健身时的实时运动速度,基于所述实时运动速度,控制虚拟场景中虚拟人前进的实时速度;
输出虚拟场景及虚拟人的第三视角画面至显示器。