利索能及
我要发布
收藏
专利号: 2024116305893
申请人: 连云港中南物流科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种疲劳驾驶检测方法,其特征在于,所述方法包括:

获取训练样本中标注的人眼框的中心在视频帧中的距离范围,将拍摄的驾驶员视频的每一帧划分为多个图像块,将图像块和图像块的位置编码融合后输入到编码器中得到编码器输出的特征向量,对特征向量进行聚类,根据特征向量聚类结果和特征向量对应的图像块在帧中的位置以及所述距离范围对特征向量进行过滤;

将过滤后特征向量组成的特征矩阵和解码器的k个物体查询向量组成的矩阵的转置相乘得到过滤后特征向量的特征图;基于特征图对过滤后的特征向量进行排序,将物体查询向量和排序后前k个特征向量作为解码器的输入;

将解码器的输出输入到检测头得到帧中人眼闭合情况,并基于单位时间内检测到的闭眼帧数量确定是否疲劳驾驶。

2.如权利要求1所述的方法,其特征在于,所述根据聚类结果和特征向量对应的图像块在帧中的位置以及所述距离范围对特征向量进行过滤,具体为:计算特征向量对应图像块的中心,并计算聚类结果中每个簇的中心;

根据两个特征向量对应的图像块的中心距离和所述距离范围对簇中特征向量之间的相似度进行调整;

计算簇中所有特征向量之间调整后相似度的平均值,将调整后相似度大于所述平均值的两个特征向量中远离簇中心的特征向量过滤掉。

3.如权利要求2所述的方法,其特征在于,所述根据两个特征向量对应的图像块的中心距离和所述距离范围对簇中特征向量之间的相似度进行调整,具体为:若两个特征向量对应的图像块的中心距离在所述距离范围内,则将调整因子设为0;

若两个特征向量对应的图像块的中心距离不在所述距离范围内,则获取视频帧中两个图像块中心的最远距离,计算簇中两个特征向量之间的相似度,并计算两个特征向量对应图像块的中心的距离与所述最远距离的比值;将1减去所述比值作为相似度的调整因子;

将相似度和调整因子的乘积作为相似度调整结果。

4.如权利要求1所述的方法,其特征在于,所述基于特征图对过滤后的特征向量进行排序,具体为:计算特征图中的每行去除最大值后的平均值,并计算最大值和平均值的差值;

按照所述差值从大到小的顺序对特征图的行排序;或者,

将特征图中每行中的数据按照大小分为两类,计算每类的平均值的绝对差以及每类中数据个数差异,按照所述绝对差和所述差异的乘积从大到小的顺序对特征图的行排序。

5.如权利要求1所述的方法,其特征在于,所述基于单位时间内检测到的闭眼帧数量确定是否疲劳驾驶,具体为:若单位时间内检测到的闭眼帧数量大于阈值,则提示疲劳驾驶,否则不提示。

6.一种疲劳驾驶检测系统,其特征在于,所述系统包括:

过滤模块,用于获取训练样本中标注的人眼框的中心在视频帧中的距离范围,将拍摄的驾驶员视频的每一帧划分为多个图像块,将图像块和图像块的位置编码融合后输入到编码器中得到编码器输出的特征向量,对特征向量进行聚类,根据聚类结果和特征向量对应的图像块在帧中的位置以及所述距离范围对特征向量进行过滤;

解码模块,用于将过滤后特征向量组成的特征矩阵和解码器的k个物体查询向量组成的矩阵的转置相乘得到过滤后特征向量的特征图;基于特征图对过滤后的特征向量进行排序,将物体查询向量和排序后前k个特征向量作为解码器的输入;

检测模块,用于将解码器的输出输入到检测头得到帧中人眼闭合情况,并基于单位时间内检测到的闭眼帧数量确定是否疲劳驾驶。

7.如权利要求6所述的系统,其特征在于,所述根据聚类结果和特征向量对应的图像块在帧中的位置以及所述距离范围对特征向量进行过滤,具体为:计算特征向量对应图像块的中心,并计算聚类结果中每个簇的中心;

根据两个特征向量对应的图像块的中心距离和所述距离范围对簇中特征向量之间的相似度进行调整;

计算簇中所有特征向量之间调整后相似度的平均值,将调整后相似度大于所述平均值的两个特征向量中远离簇中心的特征向量过滤掉。

8.如权利要求7所述的系统,其特征在于,所述根据两个特征向量对应的图像块的中心距离和所述距离范围对簇中特征向量之间的相似度进行调整,具体为:若两个特征向量对应的图像块的中心距离在所述距离范围内,则将调整因子设为0;

若两个特征向量对应的图像块的中心距离不在所述距离范围内,则获取视频帧中两个图像块中心的最远距离,计算簇中两个特征向量之间的相似度,并计算两个特征向量对应图像块的中心的距离与所述最远距离的比值;将1减去所述比值作为相似度的调整因子;

将相似度和调整因子的乘积作为相似度调整结果。

9.如权利要求6所述的系统,其特征在于,所述基于特征图对过滤后的特征向量进行排序,具体为:计算特征图中的每行去除最大值后的平均值,并计算最大值和平均值的差值;

按照所述差值从大到小的顺序对特征图的行排序;或者,

将特征图中每行中的数据按照大小分为两类,计算每类的平均值的绝对差以及每类中数据个数差异,按照所述绝对差和所述差异的乘积从大到小的顺序对特征图的行排序。

10.一种计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求

1‑5任一项所述的方法。