利索能及
我要发布
收藏
专利号: 2020113786198
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多特征提取与融合的头势识别算法,其特征在于,包括以下步骤:

利用RGB相机采集的视频数据,并进行数据增强,得到训练集;

使用稠密光流算法从训练集中得到稠密光流图片序列,将训练集的原图片序列和提取的稠密光流图片序列分别输入RGB特征提取3DInceptionV2通道和光流特征提取

3DInceptionV2通道,并进行特征交叉融合;所述训练集的稠密光流图片序列的获得过程包括:使用稠密光流算法提取训练集中相邻两帧图片之间的稠密光流数据,训练集中n帧光流图片序列可获得n‑1帧稠密光流图片序列,复制训练集中原第一帧填充到稠密光流图片序列中,获得最终的n帧稠密光流图片序列;所述特征交叉融合包括:通过特征图交叉融合通道将两个3DInceptionV2网络分别提取的RGB特征与光流特征进行交叉融合;将交叉融合的特征通过3D卷积和3D池化对融合特征进行特征提取与融合;

通过3DInception模块提取融合特征的高维动作特征;通过迭代训练神经网络参数,得到3DInceptionV2网络模型参数;

用RGB相机采集待识别的RGB视频数据,得到待测集,通过稠密光流算法获取稠密光流图片序列,待测集图片序列和稠密光流图片序列数据并行输入加载模型参数的双流

3DInceptionV2网络中,获得对应的头势识别结果;所述待测集的稠密光流图片序列的获得过程包括:使用稠密光流算法提取待测集相邻两帧图片之间的稠密光流数据,其中m帧光流图片序列可获得m‑1帧稠密光流图片序列,复制原第一帧填充到稠密光流图片序列中,获得最终的m帧稠密光流图片序列。

2.根据权利要求1所述的一种基于多特征提取与融合的头势识别算法,其特征在于,所述数据增强包括:对视频数据进行随机角度旋转、随机裁剪、随机调节亮度和随机调节对比度,并在视频中选取中间帧以前的任意一帧为起始帧,截取一半帧数的图像序列,得到帧数是原视频一半的若干图像序列作为训练集。

3.根据权利要求1或2所述的一种基于多特征提取与融合的头势识别算法,其特征在于,所述待测集的获取过程还包括降采样:将获得的待识别的RGB视频数据每隔1帧进行采样处理,得到帧数为原有一半的待测集。

4.根据权利要求1所述的一种基于多特征提取与融合的头势识别算法,其特征在于,所述RGB相机采样帧率为30fps/s,每次采集时长在2s以内。

5.根据权利要求1所述的一种基于多特征提取与融合的头势识别算法,其特征在于,所述训练集和待测集的获得过程还包括格式统一步骤:每帧图片的长宽比例缩放成最短边为

112像素的大小,并居中裁剪成112×112大小的图片。