1.一种行为识别的方法,其特征在于,所述方法包括:
获取待检测视频;其中,所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧;
确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价;
针对每个匹配代价,将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围,确定以所述第一个空间搜索范围中的指定位置为搜索起点位置,且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价;
基于多个所述匹配代价分别对应的多个子匹配代价,生成所述待识别视频帧的视频帧特征信息,并将所述视频帧特征信息输入到重要度计算神经网络中,得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重;所述重要度计算神经网络是指学习有视频帧特征信息与每个匹配代价对应的多个子匹配代价的重要度权重之间的对应关系的神经网络;
基于确定的每个匹配代价,确定最大的重要度权重所对应的待确定子匹配代价,得到确定后的子匹配代价;
利用训练好的行为识别神经网络以及确定后的子匹配代价,确定针对所述待识别视频帧的行为识别结果。
2.一种特征提取的方法,其特征在于,所述方法包括:
获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧;
确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价;
针对每个匹配代价,将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围,并确定以所述第一个空间搜索范围中的指定位置为搜索起点位置,且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价;
基于多个所述匹配代价分别对应的多个子匹配代价,生成所述目标样本视频帧对应的运动特征信息;其中,所述目标样本视频帧的运动特征信息,用于训练对待检测视频进行行为识别的行为识别神经网络。
3.根据权利要求2所述的方法,其特征在于,所述指定位置为所述第一个空间搜索范围的中心。
4.根据权利要求2或3所述的方法,其特征在于,按照如下步骤确定所述至少一个其他空间搜索范围对应的子匹配代价:确定所述第一个空间搜索范围所对应的匹配代价长方体;
针对所述其他空间搜索范围中的目标空间搜索范围,从确定的所述匹配代价长方体中确定与所述目标空间搜索范围对应的子匹配代价长方体;从所述第一个子匹配代价包含的各个匹配代价矩阵值中查找与确定的所述子匹配代价长方体匹配的匹配代价矩阵值;将查找到的所述匹配代价矩阵值进行组合,得到与所述目标空间搜索范围对应的子匹配代价;
将得到的与所述目标空间搜索范围对应的子匹配代价,确定为所述其他空间搜索范围对应的子匹配代价。
5.根据权利要求4所述的方法,其特征在于,所述基于多个所述匹配代价分别对应的多个子匹配代价,生成所述目标样本视频帧对应的运动特征信息,包括:针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价,将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息,以得到所述目标子匹配代价转换后的运动特征信息;
将所述目标子匹配代价转换后的运动特征信息,确定为所述目标样本视频帧对应的一个运动特征信息。
6.根据权利要求5所述的方法,其特征在于,所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价,将所述目标子匹配代价转换为对应的两个样本视频帧中的目标对象在对应的空间搜索范围内的运动特征信息,包括:针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价,将所述目标子匹配代价输入至特征转换神经网络,得到所述特征转换神经网络输出的运动特征信息;
基于得到的所述运动特征信息确定所述目标子匹配代价转换后的运动特征信息。
7.根据权利要求6所述的方法,其特征在于,所述特征转换神经网络包括两个子特征转换神经网络;所述针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价,将所述目标子匹配代价输入至特征转换神经网络,得到特征转换神经网络输出的运动特征信息,包括:针对所述匹配代价对应的每个子匹配代价中的目标子匹配代价,将所述目标子匹配代价分别输入到所述两个子特征转换神经网络中,得到第一转换后特征和第二转换后特征;
所述两个子特征转换神经网络的网络运算操作不同;所述第一转换后特征和第二转换后特征的维度相同;
将所述第一转换后特征和第二转换后特征进行求和运算,得到特征转换神经网络输出的运动特征信息。
8.根据权利要求7所述的方法,其特征在于,按照如下步骤训练对待检测视频进行行为识别的行为识别神经网络:确定针对每个所述子匹配代价转换后的运动特征信息所分配的重要度权重;
将针对每个所述子匹配代价转换后的运动特征信息以及所分配的重要度权重进行加权求和,得到总运动特征信息;
基于得到的所述总运动特征信息对待训练的行为识别神经网络进行训练,得到训练好的行为识别神经网络。
9.根据权利要求8所述的方法,其特征在于,按照如下步骤确定针对每个所述子匹配代价转换后的运动特征信息所分配的重要度权重:从所述目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧中分别提取对应的视频帧特征信息;
将提取的所述视频帧特征信息输入到重要度计算神经网络中,得到重要度计算神经网络输出的针对每个匹配代价对应的多个子匹配代价的重要度权重;
针对每个匹配代价对应的每个子匹配代价,将每个所述子匹配代价的重要度权重对应分配给每个所述子匹配代价转换后的运动特征信息,得到每个所述子匹配代价转换后的运动特征信息所分配的重要度权重。
10.根据权利要求9所述的方法,其特征在于,所述基于得到的所述总运动特征信息对待训练的行为识别神经网络进行训练,得到训练好的行为识别神经网络,包括:从所述目标样本视频帧中提取表观特征信息;
基于提取的所述表观特征信息和得到的所述总运动特征信息对待训练的行为识别神经网络进行训练,得到训练好的行为识别神经网络。
11.根据权利要求10所述的方法,其特征在于,所述基于提取的所述表观特征信息和得到的所述总运动特征信息对待训练的行为识别神经网络进行训练,得到训练好的行为识别神经网络,包括:将提取的所述表观特征信息和得到的所述总运动特征信息输入到待训练的行为识别神经网络中,得到行为识别神经网络输出的针对所述目标样本视频帧的预测结果;
在针对所述目标样本视频帧的预测结果与针对所述目标样本视频帧标注的有关目标行为动作的标注结果不匹配的情况下,调整所述特征转换神经网络、所述重要度计算神经网络以及所述待训练的行为识别神经网络中的一者或多者神经网络的网络参数值;
直至针对所述目标样本视频帧的预测结果与针对所述目标样本视频帧标注的有关目标行为动作的标注结果匹配的情况下,得到训练好的神经网络。
12.根据权利要求11所述的方法,其特征在于,在得到训练好的行为识别神经网络之后,所述方法还包括:获取待检测视频;其中,所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧;
确定所述待识别视频帧分别与所述多个参考视频帧之间的匹配代价;以及,将从所述待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧中分别提取的视频帧特征信息输入到重要度计算神经网络中,得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重;
基于确定的每个匹配代价,确定最大的重要度权重所对应的待确定子匹配代价,得到确定后的子匹配代价;
利用训练好的行为识别神经网络以及确定后的子匹配代价,确定针对待识别视频帧的行为识别结果。
13.根据权利要求12所述的方法,其特征在于,所述利用训练好的行为识别神经网络以及计算后的子匹配代价,确定针对待识别视频帧的行为识别结果,包括:将计算后的子匹配代价输入至训练好的特征转换神经网络,得到特征转换神经网络输出的运动特征信息;
在从所述待识别视频帧中提取出表观特征信息的情况下,将得到的所述运动特征信息以及提取的所述表观特征信息输入到训练好的行为识别神经网络中,得到所述待识别视频帧针对每种预设行为动作的预测概率;
将所述预测概率中最大预测概率对应的预设行为动作确定为所述针对待识别视频帧的行为识别结果。
14.根据权利要求13所述的方法,其特征在于,所述确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价,包括:针对每个所述参考样本视频帧,将该参考样本视频帧以及所述目标样本视频帧输入到相似度计算神经网络中,确定所述目标样本视频帧中的每个像素点与该参考样本视频帧对应的像素范围内每个像素点之间的余弦相似度;
针对所述目标样本视频帧中的每个像素点,按照每个所述参考样本视频帧对应的像素范围指示的像素点排列顺序,将确定的各个余弦相似度进行组合,得到组合结果;
基于所述组合结果确定所述匹配代价。
15.一种行为识别的装置,其特征在于,所述装置包括:
获取模块,用于获取待检测视频;其中,所述待检测视频包括待识别视频帧以及与所述待识别视频帧相邻的连续多个参考视频帧;
第一确定模块,用于针对每个匹配代价,将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围,确定以所述第一个空间搜索范围中的指定位置为搜索起点位置,且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价;
基于多个所述匹配代价分别对应的多个子匹配代价,生成所述待识别视频帧的视频帧特征信息,并将所述视频帧特征信息输入到重要度计算神经网络中,得到所述重要度计算神经网络输出的针对每个匹配代价对应的多个待确定子匹配代价的重要度权重;所述重要度计算神经网络是指学习有视频帧特征信息与每个匹配代价对应的多个子匹配代价的重要度权重之间的对应关系的神经网络;
第二确定模块,用于基于确定的每个匹配代价,确定最大的重要度权重所对应的待确定子匹配代价,得到确定后的子匹配代价;
识别模块,用于利用训练好的行为识别神经网络以及确定后的子匹配代价,确定针对所述待识别视频帧的行为识别结果。
16.一种特征提取的装置,其特征在于,所述装置包括:
获取模块,用于获取目标样本视频帧以及与该目标样本视频帧相邻的连续多个参考样本视频帧;
第一确定模块,用于确定所述目标样本视频帧分别与所述多个参考样本视频帧之间的匹配代价;
第二确定模块,用于针对每个匹配代价,将确定该匹配代价时使用的空间搜索范围确定为第一个子匹配代价的第一个空间搜索范围,并确定以所述第一个空间搜索范围中的指定位置为搜索起点位置,且搜索范围的大小与所述第一个空间搜索范围不同的至少一个其他空间搜索范围对应的子匹配代价;
生成模块,用于基于多个所述匹配代价分别对应的多个子匹配代价,生成所述目标样本视频帧对应的运动特征信息;其中,所述目标样本视频帧的运动特征信息,用于训练对待检测视频进行行为识别的行为识别神经网络。
17.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1所述的行为识别的方法的步骤,或者如权利要求2至14任一所述的特征提取的方法的步骤。
18.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1所述的行为识别的方法的步骤,或者如权利要求2至14任一所述的特征提取的方法的步骤。