利索能及
我要发布
收藏
专利号: 2023103087862
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度摄影技术的平衡木游戏反馈系统,其特征在于,包括智能平衡木、组装于该平衡木下侧的语音播报设备、正面与侧面的深度摄影机、显示屏以及计算机;所述智能平衡木上还设置有压力传感器,该压力传感器与感应灯连接,其用于显示正确的重心摆放位置;所述语音播报设备为扬声器,其用于播报得分点和奖励机制;所述深度摄影机用于对运动员细节动作的得分关键点进行拍摄,并实时将数据回传给计算机;所述显示屏用于实时反馈给运动员各项数据;所述计算机用于对深度摄影机采集的图像进行处理和数据分析。

2.一种如权利要求1所述的基于深度摄影技术的平衡木游戏反馈系统的反馈方法,其特征在于,包含以下步骤:

步骤S1:通过深度摄像相机拍摄体操运动员平衡木训练时各种动作的照片(并腿后手翻(小翻)、后手翻两脚依次落(后手翻)、踢腿后手翻、踺子、并腿前手翻、前手翻两脚依次落等动作),制作运动员空中动作的数据集,并对数据集做增强处理;

步骤S2、使用nnformer作为体操运动员加分动作分割模型,采用监督学习训练动作分割模型;

步骤S3、对监督学习方法进行改进,并对改进后的模型进行训练;

步骤S4、使用训练好的子模型进行图像分割。

步骤S5、结合游戏反馈系统,进行动作智能评分并提示。

3.根据权利要求2所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,所述步骤S1中:进行数据集的制作,数据集labels制作方法为采用mask方法处理图片,用0,1等填充图片,由此图片呈现纯黑状态;为使图片显形,将像素值为1的点赋值为

255,即把0和1的图片变成1,255图像,labels此时变成黑白照片;设置感兴趣区域为手臂,腿,腰部分,以达到更高的预测效果。

4.根据权利要求2所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,所述步骤S1中:对数据集做增强处理,通过设定随机水平翻转,随即调整饱和度,随机调整亮度,对图像进行随机区域丢失、图像放大、对像素维度上加入椒盐噪声从而实现对数据集增强处理。

5.根据权利要求4所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,对图像进行随即区域丢失,随机对图片上部分区域设置为0,然后训练,随机区域的丢失可类似于随机噪声,可以增强模型鲁棒性,避免出现过拟合;对图像进行放大,图像放大比例适宜1.2‑1.5。

6.根据权利要求2所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,所述步骤3中采用监督学习训练动作分割模型改进,其具体操作为通过深度摄像机获取运动员3D动作图,并制作数据集;

首先对图像进行预处理,将预处理后的3D图像文件送入模型中进行训练,计算训练所关注的手臂,腿部,腰部等重要部位的分割得分ADice和Score;接着进行验证测试,将运动员空中动作拍摄送入训练好的模型中进行ADice和Score的计算。

7.根据权利要求4所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,步骤S3中通过训练好的模型进行部署到移动端,并且对运动员动作进行拍摄,讲运动员的照片输入到训练网络进行测试,根据(1)(2)公式进行评分;

式(1)中为前景得分,式(2)为M个ADice平均得分,M为输入的身体部位指标数量,Score为运动员总得分,根据ADice获得不同部位的得分情况,然后通过移动端进行语音提示。

8.根据权利要求2所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,还包括运动干预闭环流程模块,该模块具体流程为:提前设置训练动作,并且在每局训练中加入不同动作,运动员通过游戏得分方式,在一场游戏中训练各个动作;教练通过电脑管理模块,实时监测运动员动作指标得分情况,并且做到实时记录与加强训练;通过设置运动员根据播报系统和游戏模式进行闯关游戏。

9.根据权利要求2所述的一种基于深度摄影技术的平衡木游戏反馈系统的方法,其特征在于,所述步骤3中,对改进后的模型进行训练具体方法为,采取多折训练,每个fold训练迭代次数为40000次,采取学习率递减原则,初始学习率为0.005,每4000次迭代衰减一次,并且采取多联机cascade训练方式。