1.一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，步骤如下：步骤一、获取RGB帧：对于数据集中的每个视频进行取帧处理，获得RGB原始帧N为帧数；

步骤二、计算光流图：应用TVL1算法对RGB原始帧frgb两两进行计算得到光流图步骤三、对提取的所有RGB帧与光流图分段：将步骤一、步骤二获取的所有RGB帧与光流图平均分成三段 每段时序上连续，且任意两段间不重叠；

步骤四、从srgb中每段分别随机获取RGB帧构建空间网络的输入：

其中

步骤五、从sopt中每段分别随机获取多张光流图构建时间的网络输入：

其中

步骤六、基于空间网络Ns计算空间类别概率分布OS：将步骤四构建的空间网络的输入分别送入空间网络Ns提取特征，空间网络Ns基于InceptionV3网络构建，再经过全局平均池化操作和全连接操作得到空间类别概率分布 其中表示步骤三的第i个RGB帧分段RGBi对应的空间类别概率分布；

步骤七、基于时间网络Nt计算时间类别概率分布OT：将步骤五构建的时间网络的输入分别送入时间网络Nt提取特征，时间网络Nt基于InceptionV3网络构建，再经过全局平均池化操作和全连接操作得到时间类别概率分布 其中表示步骤三中第i个光流图分段OPTi对应的时间类别概率；

步骤八、基于双流融合网络NTSFF计算特征融合类别概率分布OF：使用多层次时空特征融合模块将时空特征融合模块STFF分别嵌入至空间网络Ns和时间网络Nt的InceptionV3的多个子模块中以融合提取多深度级别混合特征，然后通过分组增强注意力模块对提取的特征提炼，最后通过全局平均池化操作和全连接操作得到特征融合类别概率分布其中 表示步骤三的第i个RGB帧分段RGBi和第i个光流图分段OPTi对应的特征融合类别概率分布；

步骤九、计算多段融合的类别概率分布：根据步骤六、步骤七和步骤八得到的多段类别概率分布 与 通过三段平均值得到多段融合的类别概率分布

步骤十、计算三个流加权融合的类别概率分布δ：在双流网络的基础上融合步骤九得到的多段融合的空间类别概率分布δs、多段融合的时间类别概率分布δt和多段融合的特征融合类别概率分布δf，采用加权平均融合方法计算类别概率分布δ；

步骤十一、计算最终分类结果P：P＝argmax(δ)，其中argmax(δ)为计算δ向量中最大值的索引值，该索引值为计算所有行为类别中类别概率分布最高的类别。

2.根据权利要求1所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，完成双流网络行为识别方法的模型包括空间网络、时间网络、特征融合网络、多段类别概率分布融合和多流类别概率分布融合；空间网络和时间网络均是基于InceptionV3构建的，而特征融合网络是通过空间网络和时间网络构建的；使用多层次时空特征融合模块以融合不同深度级别的时空混合特征，其中时空混合特征是利用时空特征融合模块融合分别从空间网络和时间网络提取的特征，然后通过分组增强注意力模块提炼多深度级别混合特征，同空间网络和时间网络一样，使用全局平均池化与全连接操作获得特征融合类别概率分布；然后将每个流的三个分段输入提取的对应的类别概率分布进行融合，获取对应流的多段融合类别概率分布，最终，采用加权平均方法融合三个流对应的多段融合类别概率分布。

3.根据权利要求1所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，所述步骤八的全过程从形式上写成如下公式：其中MMDFF(·,·)表示多层次时空特征融合模块，MGSCE(·)表示分组增强注意力模块的输出特征；FC表示完全连接操作，GAP表示全局平均池化操作。

4.根据权利要求3所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，所述步骤八中应用的多层次时空特征融合方法为：InceptionV3由j个串联的子模块组成，分别为Inc.1‑Inc.j，能够从中提取不同的深度级别特征；将时空特征融合模块STFF嵌入至空间网络和时间网络的各个子模块中，以捕获具有不同深度层次的新颖特征；通过将网络的多个深度的子模块生成的所有混合时空特征进行级联，从而获取具有多个深度级别的抽象卷积混合时空特征；多层次时空特征融合模块MMDFF(·,·)的流程如下式所示：其中MSTFF(·,·)表示时空特征融合模块； 和 分别表示将 和 送入空间网络和时间网络并从其中的inc.j模块中提取的特征； 表示从

inc.l1到inc.l2生成的混合特征的级联；Conv(·)表示卷积运算。

5.根据权利要求4所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，时空特征融合模块的输出特征是由初步混合时空特征、空间特征和时间特征三种类型的特征融合而成；时空特征融合模块的具体过程为：首先通过逐元素求和与卷积运算将从空间网络中子模块提取的空间特征与从时间网络子模块中提取的时间特征进行融合，以获得初级的混合抽象特征；通过忽略等式(2)中的上标i和下标inc.j，将 和书写为 和 以便于表达，其中C，H和W分别表示特征图的通道数、高度和宽度；然后，将初步混合抽象特征F正式表示为以下公式：

其中Ψk,n表示卷积核大小为k及过滤器数目为n的ReLU(BN(Conv(·)))操作序列，其中ReLU和BN分别表示ReLU激活函数和批量归一化操作，Conv(·)表示卷积运算，⊕表示逐元素求和运算；

为了抑制无效信息并提取有效信息，采用特征提取器MFE(·)；MFE(·)由两个具有不同过滤器数目n的Ψ3*3,n运算组成，其中第一个的过滤器数目是输入通道数C的一半，而另一个与输入通道数相同；然后通过特征提取器MFE(·)，将所有空间特征S、时间特征T和初级时空混合特征F独立提取非线性抽象特征；特征提取器MFE(·)的详细过程表示为以下公式：MFE(Z)＝ZFE2＝Ψ3*3,C(ZFE1) (4)

其中Z∈{S,T,F}表示MFE(·)的输入特征，S,T,F分别表示空间特征、时间特征和初级时空混合特征；

然后，将通过特征提取器MFE(·)提炼的空间特征SFE2和时间特征TFE2分别与提炼过的混合特征FFE2融合，以获得更深层次的融合特征FS和FT，如下所示：FS＝Φ(SFE2，FFE2) (6)

FT＝Φ(TFE2，FFE2) (7)

此处的Φ(·,·)与公式(3)相同；

最后，通过Φ(·,·)运算将FS和FT融合，得到时空特征融合模块STFF的最终混合时空特征：MSTFF(S,T)＝Φ(FS,FT) (8)。

6.根据权利要求1所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，所述步骤八中分组增强注意力模块包括组级空间注意模块和通道关注模块，两个注意力模块的连接是并行的；组级空间注意模块用于挖掘感兴趣的各个局部区域，而通道关注模块则用于捕获通道维度中的全局响应；将两个注意力模块连接，通过与原输入特征图逐元素相乘来增强空间显著性和通道显著性；最后，利用残差连接来减小梯度消失的可能；其中，全局平均池化操作GAP和全局最大池化操作GMP分别在空间注意模块中的空间维度和通道注意模块中的时间维度上操作；具体如下：将分组策略引入到空间注意力SA模块中，从而生成组级空间注意力GSA模块，该模块用于捕获局部信息，以对通道注意力CA模块提取的全局信息进行补充；SA模块和CA模块形式上将输入特征图定义为 通过GSA模块和CA模块获取空间注意和通道响应

通过 操作分配融合的权重 来细化原始输入特征Q；引入注意力

残差，通过 操作直接建立Q和最终提炼后的特征之间的连接；最后，分组增强注意力模块输出的显著性增强特征 的生成过程如下式(9)所示；

其中， 表示逐元素乘法，其中MC(Q)和MGS(Q)之间的 操作包含广播操作，该操作在逐元素乘法运算时自动将MC(Q)的大小C*1*1转换为与MGS(Q)的大小C*H*W一致。

7.根据权利要求6所述的一种基于多层次时空特征融合增强的双流网络行为识别方法，其特征在于，组级空间注意力GSA模块的构建方法：组级空间注意力GSA模块，用于在从原始特征图划分的每个独立组中生成局部空间响应；通过分组策略将输入特征图Q划分为其中 表示组号为l的特征图组；G表示划分的总组数，它通过有针对性的学习和噪声抑制有效地从子特征中捕获信息；然后利用SA模块得到组l的局部空间响应 最后，组级空间注意力模块的输出响应 的生成如下式所示：

其中Expand(·)操作表示将特征在通道维度上重复 次。