1.一种基于深度学习的学生课堂行为检测方法,其特征在于,包括:
S1:对改进YOLOv11模型进行训练,对训练好的改进YOLOv11模型进行剪枝处理,得到学生课堂检测模型;所述改进YOLOv11模型包括改进Backbone网络、改进Neck网络和改进Head网络;改进Backbone网络将原YOLOv11模型Backbone网络中的C3K2模块替换为Star_caa模块;改进Backbone网络和改进Neck网络均将原YOLOv11模型中的Conv下采样模块替换为LD_downsample下采样模块;改进Head网络为将原YOLOv11模型中Head网络的检测头替换为Dyhead_DCNv4检测头;
Star_caa模块对输入特征的处理过程包括:采用第一DWConv层对输入特征进行处理,得到第一中间特征;通过并行的两个1×1卷积层对第一中间特征进行处理,并对两个卷积输出进行星运算,得到第二中间特征;将第二中间特征进行CAA注意力机制处理后输入到1×1卷积层中,得到第三中间特征;将第三中间特征输入到第二DWConv层进行处理,得到第四中间特征;将第四中间特征于输入特征进行残差连接并进行正则化,得到Star_caa模块的输出特征;
S2:获取待检测学生课堂视频并将其输入到学生课堂检测模型中进行处理,得到学生课堂行为检测结果;
S3:使用改进DeepSORT算法对学生课堂行为检测结果进行处理,实现对学生课堂行为的跟踪;改进DeepSORT算法为将原DeepSORT算法中卡尔曼滤波器获取的状态预测结果替换为LSTM网络获取的状态预测结果与卡尔曼滤波器获取的状态预测结果的加权和,将原DeepSORT算法中的特征提取器替换为MobileNetV4网络。
2.根据权利要求1所述的一种基于深度学习的学生课堂行为检测方法,其特征在于,LD_downsample下采样模块包括两个分支,一个分支为最大池化层连接CBS模块,另一分支为CBS模块连接LDConv层;拼接两个分支的输出作为LD_downsample下采样模块的输出特征。
3.根据权利要求2所述的一种基于深度学习的学生课堂行为检测方法,其特征在于,CBS模块由一个标准卷积层、一个batch normalization层和一个激活函数Silu组成。
4.根据权利要求1所述的一种基于深度学习的学生课堂行为检测方法,其特征在于,Dyhead_DCNv4检测头表示为:W(F)=πc(πs(πL(F)·F)·F)·F
其中,W(F)表示Dyhead_DCNv4检测头的输出特征,F表示Dyhead_DCNv4检测头的输入特征,πL(·)、πs(·)、和πc(·)分别表示适用于维度L、S和C的三个不同的注意力函数。
5.根据权利要求1所述的一种基于深度学习的学生课堂行为检测方法,其特征在于,对训练好的改进YOLOv11模型进行剪枝采用LAMP剪枝算法。