利索能及
我要发布
收藏
专利号: 2023104849401
申请人: 南京晓庄学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种驾驶员生命体征和驾驶行为监控方法,其特征是,包括:

根据监测的驾驶员的生命体征参数,分析驾驶员的疲劳程度,根据分析结果给出驾驶提醒,其中,所述生命体征参数包括心电、血压、体温和心率;

识别驾驶员的人脸信息,获得人脸数据信息,根据人脸数据信息中的关键点获得脸部模型的特征点,将特征点的参数作为面部状态数据;

提取网络预测的人体关键点信息,建立颈部、肩膀和手臂对应的向量,根据信息设计条件,结合面部状态数据,判断行为动作,其中,所述信息设计条件包括角度和方向;

根据判断的行为动作,与预设的驾驶异常行为作比较,若符合驾驶异常行为,给出相应的驾驶提醒;其中,所述驾驶异常行为包括疲劳驾驶、喝水和抽烟动作;

判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合,若不贴合,发出贴合提醒;

当用户手掌与芯片贴合时,采集用户的生命体征参数,将采集数据传输至用户APP,并与阈值进行比较;

当有任意一项数据超过或低于阈值时,继续判断该数据是否严重超出或低于阈值,并持续监测生命体征参数;

当有任意一项数据严重超出或低于阈值时,输出严重疲劳驾驶并停止行驶的语音提醒,将信息同步传送给用户、家人及交警部门,并启动自动驾驶直至结束行程,否则,输出疲劳驾驶语音提醒,并持续监测生命体征参数;

所述行为动作的判断方法,包括:

从函数中提取网络预测的人体关键点信息,将获得的关键点信息输入Mask R‑CNN网络;

使用display_keypoints()函数将关键点信息分别存储在两个列表中,使用cv2.line()函数对这些关键点坐标进行绘制,建立颈部向量 、左肩向量 、右肩向量 、左臂向量 、右臂向量 、左手向量 、右手向量 、左腿向量 、右腿向量 、左脚向量、右脚向量 ,并设定算法与阈值进行行为判断;

使用append函数将列表存储在a、b两个列表内,建立垂直参照线,将左肩与左手的坐标信息提取并计算其长度,其次计算对应向量之间的角度信息,并根据向量的角度与长度信息变化判断是否发生相应的动作;

所述喝水通过抬头和抬手动作进行判断,其中所述抬头的判定方法为:当num_face小于1时,若 , 并且 与 都小于1/2时,判定为抬头;

若 , 大于1/2,则判定为向左抬头;

若 , 大于1/2,则判定为向右抬头;

所述抬手动作检测方法包括:当网络检测到水杯存在,且人体坐标

时,若 大于1/2,并且维持5帧以上,则判定为左手举杯喝水;当时,若 大于1/2,并且维持5帧以上,则判定为右手举杯喝

水;其中公式中x、y表示手部的与颈部的关键点坐标提取结果,通过计算手部终点到颈部线段的垂直距离,若该距离小于四分之一的肩部总长,并且保持3s以上,则判定为喝水行为,D为左手点位,D’为右手点位。

2.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法,其特征是,所述疲劳驾驶的判断方法包括:根据MTCNN人脸检测模型定位的人脸及五官,利用PFLD算法检测人脸关键点;

根据获得的面部关键点信息,计算单位时间内眨眼次数和哈欠次数,其中,所述眨眼次数通过眼部的开合度和持续时间比例计算,所述哈欠次数采用外轮廓疲劳门槛的平均值进行统计;

根据面部信息计算结果,判断在一定时间内的眨眼次数是否低于阈值或哈欠次数是否超过阈值,若符合,则输出疲劳驾驶警报,将信息同步传送给用户、家人及交警部门,并启动自动驾驶直至结束行程,否则,持续监测面部关键点信息。

3.根据权利要求2所述的驾驶员生命体征和驾驶行为监控方法,其特征是,所述疲劳驾驶的判断方法还包括:根据监测的驾驶员面部信息和生命体征信息计算疲劳值,判断疲劳值与所设阈值大小;

当疲劳值异常时,输出疲劳异常警报,将信息同步传送给用户、家人及交警部门,并启动自动驾驶直至结束行程,否则,持续监测面部信息和生命体征信息。

4.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法,其特征是,当人脸信息采集不到时,提取出双肩与颈部的关键点坐标,建立对应向量,计算出双肩与颈部线段的长度,若颈部长度大于双肩之和的三分之二并且颈部向量与双肩的角度都大于70度,即可判定为抬头;若颈部与左肩的角度小于60度,则判定为向左方向抬头;若颈部与右肩的角度小于60度时,则判定为向右方向抬头。

5.根据权利要求1所述的驾驶员生命体征和驾驶行为监控方法,其特征是,所述抽烟动作检测方法,包括:当网络检测到香烟存在,香烟位置与头部线段AA’ 垂直距离L与脸部水平长度之比小于1/2,且维持5帧以上,则判定为抽烟行为;

其中,当网络检测到香烟位置与左手点位D的直线距离L1小于左手线段CD,人体坐标时,若 大于1/2,并且维持5帧以上,判定为左手抽烟行为;

当香烟位置与右手点位D’的直线距离L2小于右手线段C’D’,  时,若大于1/2,并且维持5帧以上,则判定为右手抽烟行为。

6.一种驾驶员生命体征和驾驶行为监控系统,用于权利要求1‑5任一项所述的驾驶员生命体征和驾驶行为监控方法,其特征在于,包括:生命体征监测模块:用于根据监测的驾驶员的生命体征参数,分析驾驶员的疲劳程度,根据分析结果给出驾驶提醒,其中,所述生命体征参数包括心电、血压、体温和心率;

人脸检测模块:用于识别驾驶员的人脸信息,获得人脸数据信息,根据人脸数据信息中的关键点获得脸部模型的特征点,将特征点的参数作为面部状态数据;

驾驶行为分析模块:用于提取网络预测的人体关键点信息,建立颈部、肩膀和手臂对应的向量,根据信息设计条件,结合面部状态数据,判断行为动作,其中,所述信息设计条件包括角度和方向;

驾驶异常行为预警模块:用于根据判断的行为动作,与预设的驾驶异常行为作比较,若符合驾驶异常行为,给出相应的驾驶提醒;其中,所述驾驶异常行为包括疲劳驾驶、喝水和抽烟。

7.根据权利要求6所述的驾驶员生命体征和驾驶行为监控系统,其特征是,所述生命体征监测模块的监测分析方法,包括:判断用户手掌是否与方向盘盘辐上用于检测的芯片相贴合,若不贴合,发出贴合提醒;

当用户手掌与芯片贴合时,采集用户的生命体征参数,将采集数据传输至用户APP,并与阈值进行比较;

当有任意一项数据超过或低于阈值时,继续判断该数据是否严重超出或低于阈值,否则,持续监测生命体征参数;

当有任意一项数据严重超出或低于阈值时,输出严重疲劳驾驶并停止行驶的语音提醒,将信息同步传送给用户、家人及交警部门,并启动自动驾驶直至结束行程,否则,输出疲劳驾驶语音提醒,并持续监测生命体征参数。