1.一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:包括以下步骤:
S1:疲劳分神检测模型的设计,以YOLOv6为基线模型进行改进,在YOLOv6的基础上,设计基于聚集与分流机制的加强特征提取网络;
S2:在疲劳分神检测模型中增加融合大核注意力机制的头部姿态估计分支;
S3:准备人脸数据集,并对人脸数据集标注形成疲劳驾驶数据集;标注时除了标注每个目标的类别和检测框外,并向人脸数据添加额外的头部转动角度是否大于45°标签;标注的类别包括睁眼、闭眼、张嘴及闭嘴;
S4:通过目标检测损失函数和头部姿态估计损失函数训练疲劳分神检测模型;
S5:将疲劳分神检测模型部署于车载终端设备,将终端设备摄像头拍摄的视频流输入疲劳分神检测模型,通过训练后的疲劳分神检测模型检测头部姿态和疲劳状态并输出信息,所述输出信息包括目标的类别、检测框和头部转动角度是否大于45°;
S6:通过某一类别持续时间与设定阈值进行比较来判定是否处于疲劳状态或分神状态。
2.根据权利要求1所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述步骤S1中,基于聚集于分流机制的加强特征提取网路,包括使用低层聚集与分流机制代替YOLOv6中加强特征提取网络的上采样融合阶段,使用高层聚集与分流机制代替YOLOv6中加强特征提取网络的下采样融合阶段。
3.根据权利要求2所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述聚集与分流机制包括信息对齐模块、信息融合模块以及信息分流模块;所述信息对齐模块收集来自骨干网络的多层特征图,并通过上采样或下采样的方式进行对齐;所述信息融合模块融合对齐后的特征生成全局范围的特征;所述信息分流模块使用自注意力机制将全局特征分流至各个特征层。
4.根据权利要求1‑3任一项所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述步骤S2中,融合大核注意力机制的头部姿态估计分支由多个卷积层、大核注意力机制模块和一个全连接层组成。
5.根据权利要求4所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述大核注意力机制模块能够捕获长距离关系;所述大核注意力机制模块使用大核卷积层来建立全局相关性并产生注意力结果,同时使用深度可分离卷积减少参数量。
6.根据权利要求1所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述步骤S4中,目标检测损失函数和头部姿态估计损失函数由两部分组成,分别为基于SIoU的回归损失函数和基于分类与回归对齐方法的分类损失函数;所述头部姿态估计损失函数为模型预测结果与真实标签值的交叉熵损失函数,并通过权重参数平衡两种损失,进行模型训练。
7.根据权利要求1所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:将步骤S3中获得的疲劳驾驶数据集按照8:1:1的比例划分训练集、验证集和测试集,在训练阶段加载数据集时,使用masoic和mixup数据增强方法提高数据鲁棒性,并通过水平和垂直翻转、随机旋转、随机裁剪、变形和缩放的数据增强方式增加数据量较少的类型的样本量。
8.根据权利要求1所述的一种基于多任务联合模型的头部姿态与疲劳状态检测方法,其特征在于:所述疲劳分神检测模型由卷积神经网络训练得到,所述卷积神经网络包括骨干网络、聚集与分流加强特征提取网络、目标检测头以及大核注意力机制头部姿态估计分支;所述骨干网络用于提取图片特征;所述目标检测头输出检测框和类别;所述目标检测头包括分类回归分支、边界框回归分支及深度信息回归分支;所述大核注意力机制头部姿态估计分支输出是否转头结果。