1.一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,包括:多路摄像头、语音交互模块、DTOPA视觉预对齐模块、Qwen‑Apan轻量化语言推理模块、协同决策模块、安全响应控制模块;其中,多路摄像头用于实时提取车内环境视频流;语音交互模块用于对驾驶员进行提醒,并与驾驶员进行交互,最终将结果反馈给整个系统作为决策的一部分;
DTOPA视觉预对齐模块用于将视频流转化为结构化文本描述;Qwen‑Apan轻量化语言推理模块用于对文本描述进行语义分析和异常风险评估;协同决策模块用于基于风险评估结果触发语音交互及车辆控制指令;安全响应控制模块用于执行靠边停车、紧急联系人通知或多级预警操作;其中,协同决策模块具体如下:定义驾驶员状态理解指标DSU;根据异常等级触发三级响应:语音提醒、紧急联系人通知、辅助靠边停车;其中,DSU公式如下:;
其中,wrisk是风险加权函数; 表示驾驶员状态描述准确率,groundtruthi为第i个样本的基础事实,包含车内场景,驾驶员状态,风险等级信息事实,N为测试样本总数即正整数,α为描述准确率权重系数,控制描述准确率在总评估中的重要性,β为状态分类准确率权重系数,控制分类准确率在总评估中的重要性,i为从1到N的样本索引; 表示驾驶员状态分类准确率,其计算公式分别如下:;
;
其中, 表示DTOPA生成的第i个驾驶员状态描述, 表示数据集标注的标准描述;
ROUGE‑L表示最长公共子序列比例, 表示第j个驾驶员状态描述中是否提到相应标签; 表示真实的驾驶员状态标签, 、均表示测试样本总数;j为从1到M的分类样本索引。
2.根据权利要求1所述的一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,DTOPA视觉预对齐模块具体如下:采用多模态数据增强策略,生成驾驶文本视频DTV数据集,模拟真实视频时序特性;使用CLIP‑ViT‑L模型对齐图像与文本特征;通过视觉能力内化技术剔除CLIP依赖,采用多尺度卷积嵌入与模态自适应归一化。
3.根据权利要求2所述的一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,多模态数据增强策略具体如下:采用LLM自动生成多模态预训练数据,创建包含文本视频及其关联注释的大规模驾驶文本视频DTV数据集。
4.根据权利要求1所述的一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,Qwen‑Apan轻量化语言推理模块具体如下:采用GPTQ‑Int8量化方案压缩模型权重;基于注意力熵动态分配KV缓存。
5.根据权利要求4所述的一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,通过模拟莲峰角蟾的多样化行为模式,设计AdamH优化器,实现多策略协同模块的参数优化。
6.根据权利要求5所述的一种基于大模型协同决策的驾驶员异常监测系统,其特征在于,引入CH混沌映射初始化参数,融合莲峰角蟾行为模式即觅食、防御、逃逸、社交更新梯度方向;其中,CH混沌映射初始化参数公式如下:;
式中,α≥0,β≥0且α+β≤1,u∈[0,4],γ∈[2.5,3.0],都是映射控制参数,zi为当前混沌状态值,zi+1为 CH混沌映射输出的下一状态值,且满足zi+1∈[0,1];wi为用于生成混沌序列的第i次迭代的中间权重值;λ为插值参数,控制确定性成分与随机成分的平衡;r为随机因子,引入随机扰动以增强遍历性;π为圆周率,约等于3.14159;sin为正弦函数,cos为余弦函数,| |为绝对值函数,确保输出为非负值。
7.一种驾驶员异常监测方法,采用权利要求1所述的一种基于大模型协同决策的驾驶员异常监测系统实现,其特征在于,包括以下步骤:(1)通过多路摄像头以25FPS采集车内视频流;
(2)利用DTOPA模型实时生成场景文本描述;
(3)利用Qwen‑Apan模型解析文本并输出风险评估;
(4)若检测异常,启动语音交互确认状态;
(5)根据交互结果执行安全响应操作。
8.根据权利要求7所述的一种驾驶员异常监测方法,其特征在于,步骤(1)中,采用多模态数据增强策略,生成驾驶文本视频DTV数据集。
9.根据权利要求7所述的一种驾驶员异常监测方法,其特征在于,步骤(2)中采用21秒滑动窗口机制,随机抽取20帧组成分析批次,通过WebSocket传输压缩帧数据。