利索能及
我要发布
收藏
专利号: 202411986008X
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,具体包括以下步骤:步骤S1:对面部疲劳数据进行收集、筛选和面部特征标注,制作数据集;

步骤S2:对原始yolov8进行网络改进并利用数据集训练目标检测模型,获取疲劳驾驶检测模型;

步骤S3:将步骤S2的模型和Dlib关键点结合,根据眼睛纵横比、嘴巴纵横比、头部摆动特征判断驾驶员疲劳状态;

步骤S4:将获得的疲劳驾驶检测模型接入实时视频流中进行实时检测,判断视频中的驾驶员是否存在疲劳驾驶,根据疲劳状态进行判断,获得检测结果;

所述步骤S2的具体步骤为:

步骤S21:将MobileNetv3‑Small结构引入yolov8目标检测算法中的Backbone层,使用MobileNetv3替代Backbone层的所有卷积,同时引入了SE注意力机制;

步骤S22:在yolov8的Neck部分引入CCFM模块,重新构建Neck部分的模块结构;

步骤S23:针对面部特征因短时丢失而造成平均精度低,人脸检测算法会出现检测失效或误判的问题,结合bot‑sort跟踪检测对面部动态进行连续跟踪优化;

步骤S24:将步骤S1中的数据集引入改进后的yolov8模型进行模型训练。

2.根据权利要求1所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,所述步骤S1中,对面部疲劳数据进行收集、筛选和面部特征标注,步骤如下:步骤S11:构建数据集包括真实驾驶打哈欠数据集YawDD和自制数据集;自制数据集通过网络搜集、相机拍摄、网络公开数据集得到,包含不同肤色人群,睁眼闭眼状态,公交车、教室各种场景下的图像数据;

步骤S12:对数据进行筛选,删除掉低质量的数据;

步骤S13:对筛选后的图像数据,采用labelimg软件对数据集进行面部标注。

3.根据权利要求2所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,所述步骤S1中还包括对数据集的框定分类,对YawDD视频数据按每20帧截取一张图片的方式进行处理,使用Labelimg标注工具对数据集进行人工标注,将图像中所含的面部特征用标注框框出,然后输出目标类别及位置信息,标注格式为Pascal VOC格式。

4.根据权利要求1所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,在所述步骤S2中选取yolo系列的单阶段目标检测模型yolov8作为目标检测模型,所述单阶段目标检测模型yolov8在骨干网络上使用C2f模块替换了YOLOv5的C3模块,且在分类回归损失函数上使用DFL和Anchor‑Free的形式,使用了BCE Loss作为分类Loss以及使用了DFL Loss和CIoU Loss作为回归损失,且使用了Task‑Aligned Assigner正负样本匹配方式,同时在最后10个epoch采取关闭Mosaic的操作。

5.根据权利要求1所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,所述步骤S24的模型训练的步骤为:步骤S241:将步骤S1的制作的数据集切分为训练集、验证集和测试集,并确保标注的图像数据中包含目标的物体的类别和边界框坐标信息;

步骤S242:在所述改进后的yolov8的代码中修改模型配置文件,指定模型的参数;

步骤S243:使用训练集和模型配置文件训练模型,在训练过程中调整学习率、优化器和损失函数的参数设置,使得训练输出最优的疲劳驾驶检测模型。

6.根据权利要求1所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,所述步骤S3的具体步骤为:步骤S31:根据Dlib 68关键点定位,获得眼睛纵横比、嘴巴纵横比、头部姿态特征,根据单位时间内眨眼频率、最长持续闭眼时间、PERCLOS、打哈欠的次数以及点头的总数共同反映驾驶员的疲劳状态;

步骤S32:当EAR小于0.2时,判断眨眼一次;驾驶员在单位时间60s内眨眼次数高于20次则判断其处于疲劳状态;当最长持续闭眼时间达到0.8s则判断其处于疲劳状态;当PERCLOS 大于等于 0.2,则判断其处于疲劳状态;

步骤S33:当MAR大于0.6时,判断打哈欠一次;驾驶员在单位时间60s内打哈欠次数高于

3次则判断其处于疲劳状态;

步骤S34:当pitch大于30°时,视为发生一次低头行为;如果在单位时间内连续出现3次以上低头行为,则判断驾驶员处于疲劳状态;

结合步骤S32‑S34下各个特征的变化规律,进行融合判断;在各特征融合判断过程中,当其中某一项特征失效时,其他特征依旧可以作为判定疲劳指标。

7.根据权利要求1所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,所述步骤S3中关于疲劳驾驶特征的面部判断通过眼睛纵横比、嘴巴纵横比和头部特征;通过计算眼睛垂直关键点距离与水平关键点距离的比值来量化眼睛的开合状态;利用几何方法分别计算两只眼睛和嘴巴对应的欧几里得距离,获得眼睛和嘴巴在任意时刻的纵横比值。

8.根据权利要求7所述的一种基于改进yolov8的轻量化疲劳驾驶检测的方法,其特征在于,当眼睛一直处于睁开状态时,EAR会保持在相对稳定的范围内;当出现眨眼、闭眼行为时,EAR值会逐渐减小并趋近于0;其中,眼睛的闭合程度超过80%就可以认作是闭合状态;

MAR同理。