1.一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,包括以下步骤:将采集到的图像进行预处理后输入预先定义的神经网络模型进行训练,训练模型是以Resnet50为骨干的4层渐进式网络组成,其中:渐进式网络第一层对原始图像进行训练,计算其父类和子类损失,并联合反向传播进行第一阶段模型的参数更新;
渐进式网络第二层,使用YOLO v5进行人体检测,将检测后的结果进行裁剪并插值,与原始图像相融合作为输入进行训练,其损失计算和模型参数更新方式同第一阶段;
渐进式网络第三层对原始图像进行训练,计算其父类和子类损失,并联合反向传播进行第一阶段模型的参数更新;
渐进式网络的第四层,将线性插值后的图像进一步细粒度特征提取以及裁剪,与原始图像融合进行训练,并在其划分子类时,引入Resnet50第三、四、五层计算自注意力之后的隐藏向量,根据每一层的损失值进行加权融合,计算子类损失,并联合父类损失反向传播进行第四阶段模型的参数更新;
将实时数据输入训练好的网络进行识别;
对模型渐进式训练的过程包括:
渐进式网络的第一层,将原始图像作为输入,利用Resnet50网络提取特征,取Resnet50网络倒数第三层特征图进行固定大小的平均池化,池化完成之后输入自注意力网络捕获全局依赖性,然后输入分类器进行子类划分,计算损失记作L1;
同时,将Resnet50分类层用于父类预测,将此父类预测的损失记作Lr1,将L1与Lr1联合进行模型的首次反向传播,并更新参数;
渐进式网络的第二层,将原始的输入图像和来自人体裁剪后进行双线性插值的目标图像进行融合后作为该层的输入,人体的裁剪范围来自于YOLOv5对于原始图像进行人体检测后的结果;
将原始输入与目标图像融合之后利用Resnet50网络进行特征提取,取Resnet50网络倒数第二层特征图进行固定大小的平均池化,池化完成之后接入自注意力机制,输入分类器进行子类划分,计算损失记作L2;
同时,将Resnet50网络分类层用于父类预测,将此父类预测的损失记作Lr2;L2与父类的损失值Lr2联合进行模型的第二次反向传播与更新;
渐进式网络的第三层,将原始图像作为输入,利用Resnet50网络提取特征,取Resnet50网络倒数第一层特征图进行固定大小的平均池化,池化完成之后输入自注意力网络捕获全局依赖性,输入分类器进行子类划分,计算损失记作L3;
同时,将Resnet50网络分类层用于父类预测,将此父类预测的损失记作Lr3,将L3与Lr3联合进行模型的第三次反向传播,并更新参数;
渐进式网络的第四层中,将原始输入图像和经过细粒度特征提取后随机裁剪的图像作为输入,将两个图像进行融合之后接入自注意力模块,在划分子类前,引入了层级加权机制,其利用了Resnet50网络第三、四、五层注意力计算之后的隐藏向量,并将隐藏向量根据渐进式网络前三层的损失值加权融合,融合完成之后计算子类损失值记作L4;
同时,将Resnet50网络分类层用于父类预测,将此父类预测的损失记作Lr4,将L4与父类损失Lr4相联合进行最后的反向传播与参数更新。
2.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,渐进式网络第二层中将原始的输入图像和来自人体裁剪后进行双线性插值的目标图像进行融合的过程包括:(c ,w)
对于给定标准化后原始图像X∈R ,h ,获取人体的大致图像提取图像X′,包括以下过程:xcenter,ycenter,w,h=YOLO(X)
lefttopx=int(xcenter‑w/2.0)
lefttopy=int(tcenter‑h/2.0)
X′=X[:,lefttpoy+1:lefttopy+h+3,lefttopx+1:lefttopx+w+1]对获得的大致图像提取图像X′进行双线性插值,得到目标图像X″;
将得到的目标图像X″与输入图像进行融合,得到渐进式网络的第二层的输入图像,表示为:其中,xcenter表示YOLOv5检测人体的输出中检测框的中心点x值,ycenter表示YOLOv5检测人体的输出中检测框的中心点y值,w表示YOLOv5检测人体的输出中检测框的宽,h表示YOLOv5检测人体的输出中检测框的高;int代表取整操作; 表示渐进式网络的第二层的输入图像。
3.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,渐进式网络的第四层中细粒度特征提取后裁剪图像的过程包括:对渐进式网络的第二层的输入图像 使用深度可分离卷积模块进行卷积操作,即进行细粒度特征提取;
(c,h,w)
将执行深度可分离卷积后的结果记作Xc∈R ,若h,w为原始图像大小,预先定义裁剪目标图像长和宽为hc
其中,X′c表示裁剪后得到的图像;ZerPad表示将裁剪后的图像X′c进行0填充至与原始图像大小相同,进行图像融合后进行渐进式网络训练,裁剪区域伴随模型训练而更新。
4.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,渐进式网络第四层中,权值计算公式包括:其中,hiddenweight[i]表示对渐进式网络第四层训练过程中resnet不同层经过注意力网络后进行拼接时的权值,i∈{1,2,3};LYi*表示以渐进式网络第i阶段进行训练后的损失值。
5.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,渐进式网络中第一层、二层以及第三层对模型进行反向传播时梯度计算公式包括:其中,FYi表示对渐进式网络第i层训练时模型进行反向传播中梯度的计算公式,i∈{3,
4,5};Yresnet_i表示以渐进式网络第i层进行训练时,模型第一次分类后的结果;Yi表示以渐进式网络第i层进行训练时,模型第二次分类后的结果;LYresne_i表示以渐进式网络第i层进行训练时,模型第一次分类的损失函数;LYi表示以渐进式网络第i层进行训练时,模型第二次分类的损失函数。
6.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,渐进式网络中第四层对模型进行反向传播时梯度计算公式包括:其中,FYconcat表示对渐进式网络第四层训练时模型进行反向传播中梯度的计算公式;
Yresnet_4表示渐进式网络第四层训练过程中,第一次分类后的结果;Yconcate表示渐进式网络第四层训练过程中,第二次分类后的结果;LYresnet_4表示渐进式网络第四层训练过程中,第一次分类的损失函数;LYconcate表示渐进式网络第四层训练过程中,第二次分类的损失函数。
7.根据权利要求1所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,将实时数据输入训练好的网络进行识别时,通过Resnet50网络对输入的数据进行大类划分,将Resnet50网络中第三层、第四层以及第五层输出结果分别输入注意网络提取特征,将结果拼接在一起,输入分类器进行子类划分,并将该分类结果作为最终分类结果。
8.根据权利要求7所述的一种基于渐进式层级加权注意网络的细粒度行为识别方法,其特征在于,将实时数据输入训练好的网络前对实时数据进行预处理,即将输入网络的数据统一为固定尺寸。