利索能及
我要发布
收藏
专利号: 202211730624X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于云边协同的驾驶安全检测方法,其特征在于:所述基于云边协同的驾驶安全检测方法包括如下步骤:S1、利用摄像头采集驾驶员视频数据并进行预处理;

S2、建立驾驶安全检测模型并分别部署于边缘设备和云端服务器上,所述驾驶安全检测模型包括并行的物体检测模型、姿势识别模型和疲劳检测模型三个子模型,各子模型包括多个网络层和多个Relu层;

S3、分别在各子模型的至少一组相邻网络层间引入中间分类器,并训练各子模型,当满足α>threshold时,退出训练过程,获得训练好的子模型,其中,α为当前中间分类器的任一类别的预测置信度,threshold为当前中间分类器预设的控制阈值变量;

S4、采用时间片轮转调度算法进行多线程部署,实现各子模型的时间片分配,并将预处理后的驾驶员视频数据输入各训练好的子模型进行并发推理;

S5、动态获取各子模型的分割点将对应子模型分割成边缘网络和云端网络,实现数据压缩传输并记录云端网络的起始推理位置,所有Relu层均为潜在分割点,所述分割点的动态获取过程如下:S51、确定对应子模型的初始分割点;

S52、创建优先队列Q,所述优先队列Q用于存储已到达分割点的数据,初始时各子模型的各批数据优先级相同,对于相同优先级的数据采用FIFO算法,并判断是否满足条件式X+G0<=W*T′,若是,进行数据压缩后传输至云端服务器,并记录进行传输的Relu层的位置作为云端网络的起始推理位置,即分割点位置,否则,使该数据提升一个优先级,等待经过下一个Relu层时加入优先队列Q,其中,W为网络传输带宽,T′为网络传输时延,G0为网络现有负载量,X为优先队列Q的队头数据;

S53、当数据超过预设时间仍未加入优先队列Q时,根据第一概率P获取特权,所述特权为等待网络空闲到能载入该数据,其中,第一概率P=|threshold1‑α1|/tolerance,tolerance表示容忍误差,α1为对应子模型的首个中间分类器的预测置信度,threshold1为对应子模型的首个中间分类器预设的控制阈值变量,且当未获得特权时,则在第二个中间分类器立即赋予特权;

S54、比较各子模型处理的任务量,若最大任务量与最小任务量的比值超过第一预设比例n1,则认为任务不平衡,将最小任务量对应的子模型的所有传输任务的优先级增加,否则,保持优先级不变;

S6、云端服务器根据获取的压缩数据及对应的云端网络的起始推理位置开始推理,获得各子模型的推理结果;

S7、利用管理端进行推理结果显示并根据推理结果向驾驶员发出警示。

2.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述物体检测模型采用YOLO系列模型或DETR系列目标检测模型,所述姿势识别模型采用openpose模型,所述疲劳检测模型包括Dlib模型和PERCLOS模型,所述Dlib模型用于检测闭眼、打哈欠、头部倾斜情形并输入至PERCLOS模型。

3.如权利要求2所述的基于云边协同的驾驶安全检测方法,其特征在于:所述PERCLOS模型执行如下操作:分别计算第一预设帧数内出现闭眼、打哈欠、头部倾斜三种情形的帧数,并分别判断三种情形的帧数是否超过第二预设帧数,若是,为各情形赋予不同权重值,计算模型得分Ys,否则,重新累计帧数,计算下一个第一预设帧数内情况,依此循环,所述模型得分Ys公式如下:Ys=0.25x+0.145y+0.605z

式中,x代表闭眼帧数,y代表打哈欠帧数,z代表头部倾斜帧数;

判断模型得分Ys是否超过第一预设阈值,若是,认为驾驶员处于疲劳状态,否则,认为驾驶员处于不疲劳状态。

4.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述中间分类器为softmax层,并在对应子模型的15%、30%、50%、70%、80%、90%网络层之间分别引入。

5.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述各子模型的时间片分配如下:Ti=ti/(t1+t2+…+tn)*T

其中,ti为子模型i的推理平均时间,i=1,2,3,T为预设时间片。

6.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述采用时间片轮转调度算法进行多线程部署后,还利用分析器优化多线程调度,所述分析器执行如下操作:比较各子模型处理的任务量,若最大任务量与最小任务量的比值超过第二预设比例n2,则认为任务不平衡,使最小任务量对应子模型的线程多抢占最大任务量对应子模型的线程的时间片为(n2‑1)*TA,TA为最大任务量对应子模型A的时间片,否则,保持各子模型原线程的时间片不变。

7.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述数据压缩采用精度压缩、稀疏数据压缩、稀疏矩阵压缩和下采样压缩其中一种或多种。

8.如权利要求7所述的基于云边协同的驾驶安全检测方法,其特征在于:所述精度压缩为将32位双精度数据压缩为8位整型数据,所述下采样压缩为二维最大池化下采样或二维平均池化下采样。

9.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述预处理为图像增强处理。

10.如权利要求1所述的基于云边协同的驾驶安全检测方法,其特征在于:所述初始分割点为推理平均时间最小时对应的Relu层,且当推理平均时间相同时,所述初始分割点为网络吞吐量最小时对应的Relu层。