1.一种智能驾驶车辆的多模态感知方法,其特征在于,包括:
采集眼动数据和头部姿态数据,将头部姿态数据与眼动数据相关联生成眼动综合数据;
采集乘车成员动作训练数据;
基于眼动综合数据分析生成视线调节指令和疲劳警告指令;
基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型;
基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理;
眼动数据包括注视点坐标和眨眼信息;头部姿态数据包括头部旋转角度;
所述将头部姿态数据与眼动数据相关联的过程如下:将头部姿态数据和眼动数据进行时间上的关联,确保两组数据是在同一时间点采集到的;对头部姿态数据进行数学转换,将头部姿态数据映射到与眼动数据相同的坐标系中;关联后的头部姿态数据与眼动数据作为眼动综合数据;
所述采集乘车成员动作训练数据的过程如下:
设置驾驶危险动作序列;安排若干人员在车辆中的各个座位就座,依次实施每个危险动作;在某人员实施危险动作时,其他座位的人员保持静止状态,且实施危险动作的人员,除实施危险动作所必要的身体部位执行动作外,其余身体部位保持静止状态;
使用车载摄像头实时拍摄车辆内的视频数据,获得每个座位上人员实施每个危险动作的视频数据,将该视频数据标记为预处理视频数据;收集若干与危险动作不同的其他行为视频数据并标记为预处理干扰视频数据,预处理干扰视频数据以及预处理视频数据共同构成乘车成员动作训练数据;
使用眼动数据分析软件,在驾驶员视角图像上标记前挡风玻璃为一级感兴趣区域,侧车窗的区域为二级感兴趣区域;
通过公式 计算注视偏移
评估值eye_score;式中,t1表示注视点坐标不在一级感兴趣区域的时间,t2表示注视点坐标在二级感兴趣区域的时间,t3表示注视点坐标既不在一级感兴趣区域,也不在二级感兴趣区域的时间;
设置注视偏移评估阈值eye_safe,当eye_score
通过公式 计算疲劳评估值tired;式中,V1表示实时每分钟驾驶员眨眼频率;V2表示正常情况每分钟驾驶员眨眼频率;U表示驾驶员每分钟偏头次数;
设置疲劳评估阈值tired_go,当tired
所述机器学习模型的训练过程如下:
将第a个危险动作的预处理视频数据对应的标签设为1,将预处理干扰视频数据对应的标签设为0,将乘车成员动作训练数据构建为机器学习模型的数据集;所述数据集分为训练集、验证集和测试集,其中训练集占数据集的70%,验证集和测试集各占数据集的15%;
将所述训练集作为机器学习模型的输入,所述机器学习模型以第a个危险动作发生概率作为输出,第a个危险动作发生概率取值为0‑1;以车载摄像头实时拍摄车辆内的视频数据中,第a个危险动作发生概率作为预测目标,以最小化机器学习模型损失函数值作为训练目标;损失函数中mse为损失函数值,i为乘车成员动作训练数据组号;u为乘车成员动作训练数据组数;yi为第i组乘车成员动作训练数据对应的标签, 为基于第i组乘车成员动作训练数据的第a个危险动作发生概率;当机器学习模型损失函数小于等于预设的目标损失值时停止训练;
所述机器学习模型可以为双流卷积神经网络模型或3D卷积神经网络模型中的任意一种;
设置危险动作发生概率阈值,当第a种危险动作发生概率大于等于危险动作发生概率阈值时,生成动作警告指令;
动作警告指令包括通过车载音响语音提醒车内成员,尽快停止第a种危险动作;疲劳警告指令包括车载音响语音提醒驾驶员集中注意力或靠边停车休息;视线调节指令包括车载音响语音提醒驾驶员视线集中。
2.根据权利要求1所述的一种智能驾驶车辆的多模态感知系统,其特征在于,包括:第一数据采集模块(1),采集眼动数据和头部姿态数据,将头部姿态数据与眼动数据相关联;
第二数据采集模块(2),采集乘车成员动作训练数据;
数据分析模块(3),基于眼动综合数据分析生成视线调节指令和疲劳警告指令;
模型训练模块(4),基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型;
控制模块(5),基于机器学习模型输出结果生成动作警告指令,并基于视线调节指令和疲劳警告指令进行处理。
3.一种电子设备,其特征在于,包括:处理器和存储器,其中,所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行权利要求1所述的一种智能驾驶车辆的多模态感知方法。
4.一种计算机可读存储介质,其特征在于:储存有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1所述的一种智能驾驶车辆的多模态感知方法。