1.一种基于折半交叉网络的健康指导方法,其特征在于,包括如下步骤:步骤1,采集动作视频,得到深度图和彩色图,并进行数据传输;
步骤2,对步骤1中深度图和彩色图分别进行处理得到去噪深度图和时间梯度特征图;
步骤3,对去噪深度图和时间梯度特征图进行特征提取,得到深度图像特征图和彩色图像特征图;构建折半交叉注意力模型,对折半交叉注意力模型进行训练,将深度图像特征图和彩色图像特征图输入训练后的折半交叉注意力模型中进行计算,得到特征向量;将特征向量输入全连接层,并通过激活函数进行激活,输出得到注意力特征图,最后通过分类器处理,得到输出结果;
步骤4,根据步骤3输出结果建立行为与控制的匹配关系,确定每个动作对应的语音指令以及实现对用户的建议提示;
所述步骤3中,对折半交叉注意力模型进行训练的内容包括:首先将步骤1中采集的动作视频划分为测试集和训练集,包括两种划分方法:交叉受试者C‑Sub划分和交叉设置C‑Set划分;
其中,交叉受试者C‑Sub划分的具体内容是:将所有的动作视频平均分为训练组和测试组,每组由总数一半的动作视频组成;
交叉设置C‑Set划分的具体内容是:将具有奇数集合设置ID的样本用于训练,具有偶数设置ID的样本用于测试;
根据两种划分方法,通过有监督学习方式分别对折半交叉注意力模型进行训练,使用交叉熵作为损失函数并使用L2正则化项进行处理,不断迭代直至误差等于或小于期望值时结束训练,得到基于C‑Sub划分的折半交叉注意力模型和基于C‑Set划分的折半交叉注意力模型;
所述步骤3中,分别通过基于C‑Sub划分的折半交叉注意力模型和基于C‑Set划分的折半交叉注意力模型计算特征向量,具体内容是:使用1×1×1卷积将输入特征投影为query、key和value;query经过折半处理取前一半特征向量,key和value经过折半处理取后一半特征向量;利用点积的相似度函数将query和每个key进行相似度计算得到权重,公式如下所示:,
其中, 表示query和key i的相似度,T为矩阵转置操作, 表示第i个key;
使用softmax函数对所述权重进行归一化处理,公式如下所示:,
其中, 表示i为1到m时 的和;e表示自然常数;
最后将权重和另一模态相应的键值value进行加权求和得到最后的attention向量:。
2.如权利要求1所述的健康指导方法,其特征在于,所述步骤1中,通过摄像头进行采集,所述摄像头采用Kinect摄像头,采集不同环境中不同个体的动作视频,所述动作视频分为两种模态数据,包括深度图和彩色图;动作包括但不限于后颈按摩、踮脚拉伸和跪坐俯身;数据传输通过局域网进行传输。
3.如权利要求2所述的健康指导方法,其特征在于,所述步骤2中,通过局域网接收步骤
1中的数据传输,对深度图进行去噪处理得到去噪深度图;对彩色图进行灰度化和去噪处理得到灰度图,将每张灰度图记为 ,进行时间梯度的计算,得到时间梯度特征图,灰度图中相邻n帧的对应灰度差作为时间梯度,公式如下所示:,
,
其中,代表帧数,代表灰度图的x坐标,代表灰度图的y坐标, 是第帧动作图中 位置的像素值。
4.如权利要求1所述的健康指导方法,其特征在于,所述步骤3中,特征提取网络使用ResNet3D残差网络对去噪深度图和时间梯度特征图进行特征提取,得到深度图像特征图和彩色图像特征图。
5.如权利要求1所述的健康指导方法,其特征在于,所述步骤3中,激活函数采用Softmax函数,得到注意力特征图,分别通过分类器进行处理,得到基于C‑Sub划分的折半交叉注意力模型的输出结果和基于C‑Set划分的折半交叉注意力模型的输出结果,选择输出结果正确率更高的模型作为实际应用的折半交叉注意力模型。
6.如权利要求1所述的健康指导方法,其特征在于,所述步骤4中,控制层包括但不限于麦克风、蓝牙和话筒;其中,麦克风用于进行语音播报,发出建议,建议内容包括但不限于保持速度、抬高手臂和休息;蓝牙用于连接摄像头和用户端口;话筒用于接收用户语言输入指令。
7.一种基于折半交叉网络的健康指导系统,其特征在于:包括物理层、数据处理层、行为识别层和控制层;
其中,物理层包括摄像头,用于采集动作视频,得到深度图和彩色图,并进行数据传输;
数据处理层用于接收物理层传输的深度图和彩色图,并分别对深度图和彩色图进行处理,得到去噪深度图和时间梯度特征图;
行为识别层包括特征提取网络、折半交叉注意力模型、全连接层和分类器;其中,特征提取网络用于对去噪深度图和时间梯度特征图进行特征提取,得到深度图像特征图和彩色图像特征图;
对折半交叉注意力模型进行训练,将深度图像特征图和彩色图像特征图输入训练后的折半交叉注意力模型进行计算,得到特征向量;
将特征向量输入全连接层,并通过激活函数进行激活,输出得到注意力特征图;
最后通过分类器处理,得到输出结果;
其中,对折半交叉注意力模型进行训练的内容包括:首先将采集的动作视频划分为测试集和训练集,包括两种划分方法:交叉受试者C‑Sub划分和交叉设置C‑Set划分;
其中,交叉受试者C‑Sub划分的具体内容是:将所有的动作视频平均分为训练组和测试组,每组由总数一半的动作视频组成;
交叉设置C‑Set划分的具体内容是:将具有奇数集合设置ID的样本用于训练,具有偶数设置ID的样本用于测试;
根据两种划分方法,通过有监督学习方式分别对折半交叉注意力模型进行训练,使用交叉熵作为损失函数并使用L2正则化项进行处理,不断迭代直至误差等于或小于期望值时结束训练,得到基于C‑Sub划分的折半交叉注意力模型和基于C‑Set划分的折半交叉注意力模型;
分别通过基于C‑Sub划分的折半交叉注意力模型和基于C‑Set划分的折半交叉注意力模型计算特征向量,具体内容是:使用1×1×1卷积将输入特征投影为query、key和value;
query经过折半处理取前一半特征向量,key和value经过折半处理取后一半特征向量;利用点积的相似度函数将query和每个key进行相似度计算得到权重,公式如下所示:,
其中, 表示query和key i的相似度,T为矩阵转置操作, 表示第i个key;
使用softmax函数对所述权重进行归一化处理,公式如下所示:,
其中, 表示i为1到m时 的和;e表示自然常数;
最后将权重和另一模态相应的键值value进行加权求和得到最后的attention向量: ;
控制层用于对行为识别层的输出结果建立行为与控制的匹配关系,确定每个动作对应的语音指令以及实现对用户的建议提示。