利索能及
我要发布
收藏
专利号: 2019101088506
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度时空网络的疲劳检测方法,其特征在于,所述方法包括:

模拟驾驶环境,包括不同天气和路况下的驾驶环境;

在所述驾驶环境下采集样本数据并进行分类,包括第一数据集和第二数据集;

构建深度时空网络模型,生成特征提取器对样本数据中眼部特征进行提取;

利用自动编解码器对第一数据集的眼部特征进行特征压缩并输入循环神经网络RNN;

利用第二数据集对循环神经网络RNN进行训练,得到训练完成的疲劳检测模型;

利用训练完成的疲劳检测模型进行实时检测,输出检测结果并通过警示模块做出反馈。

2.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述方法包括:实验者模拟路况进行驾驶时,通过VR虚拟装置呈现不同的路况环境;在驾驶仓内设置温控装置、喷雾装置和吹风装置模拟不同的气候条件;通过脑电波分析仪采集实验者的脑电波;通过疲劳检测眼镜采集实验者的眼部图像和视频特征。

3.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述第一数据集包括若干帧清醒、疲劳状态和眨眼时的不同状态下的眼部图像,第一数据集还包括数据增强后的眼部图像,所述数据增强包括改变眼部图像的亮度、饱和度、对比度、锐度和旋转角度。

4.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述第二数据集包括若干眼部动态视频数据,所述眼部动态视频数据包括实验者处于不同场景、不同疲劳状态下的眼部动态视频数据,且根据脑电波分析仪的分析结果对所述眼部动态视频数据进行状态标注。

5.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述特征提取器包括具有全卷积网络的VGG19分类器网络模型,其中,使用特征提取器进行特征提取前,对第一数据集的图像进行预处理。

6.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述自动编解码器包括由3层BP网络构成的BP编解码器,BP编解码器包括编码器和解码器,将第一数据集眼睛图像的融合特征输入到编码器,得到紧凑的特征表示,将所述紧凑的特征表示通过解码器形成重构特征,所述重构特征与第一数据集眼睛图像的融合特征构成重构误差,通过生成损失和KL散度调整编码器和解码器的参数来减小所述重构误差,得到重构误差最小的压缩特征。

7.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,所述利用第二数据集对循环神经网络RNN进行训练的方法包括:采用批标准化策略对训练样本进行校正,提高模型的泛化能力,使用梯度下降调整RNN权值,并采用长短时记忆架构LSTM对RNN进行改进。

8.如权利要求1所述的一种基于深度时空网络的疲劳检测方法,其特征在于,利用所述疲劳检测模型进行实时检测时,保持VGG19的权值不变,在线微调RNN的权值,被检测者根据系统提示进行挣眼、闭眼和眨眼动作,利用训练完成的疲劳检测模型进行疲劳检测,若检测结果为疲劳驾驶,则警示模块给出提示。