利索能及
我要发布
收藏
专利号: 2022116148465
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合时空特征的疲劳驾驶检测方法,其特征在于:该方法包括以下步骤:S1:输入驾驶视频;包括以下的步骤:

将输入的驾驶员面部视频进行分割,每个视频里面混合疲劳和不疲劳的状态,每个视频将按照对应的疲劳标签进行切割,保证每个视频只有疲劳或不疲劳一种状态,将切分后的视频随选划分为训练集和测试集,训练集占比80%,测试集占比20%;

S2:进行人脸检测;包括以下的步骤:

S2‑1:采用多任务卷积神经网络MTCNN将步骤S1中切分好的视频进行人脸检测,提取人脸区域;将检测出来的人脸区域扩充40个像素点,最终得到分辨率为160×160的人脸面部区域视频帧序列图像;

S2‑2:将提取到的人脸视频帧序列图像转换为numpy数组,保存在npy文件中;

S3:Drowsy‑CNN网络提取人脸面部空间特征;包括以下的步骤:S3‑1:将步骤S2中提取的人脸视频帧序列送入到Drowsy‑CNN网络中训练,提取驾驶员面部空间疲劳特征;Drowsy‑CNN网络是以Xception网络为基础神经网络模型,融合nonlocal注意力机制的网络模型;

S3‑2:计算nonlocal自注意力模块,其计算公式为:其中xi和xj分别表示输入的视频帧中某个时空位置,f(xi,xj)为相似性度量函数,采用EmbeddedGaussian函数来计算相似度,其计算公式为:其中θ和 函数分别表示对xi和xj做线性变换,即卷积操作,相似性度量函数对应的归一化函数C(x)为:S3‑3:non‑local注意力模块首先是对输入的feature map分别进行三个1×1×1卷积操作,得到θ、φ、g特征,然后对θ和φ进行点乘操作,计算出特征中的自相关性;对自相关特征进行softmax操作,计算归一化的注意力权重系数,接着再将这个系数对应作用到特征矩阵g中,再进行1×1×1的卷积,最后与原输入的feature map进行残差连接,最终输出驾驶员的面部空间特征向量;

S4:LSTM‑FCN提取时间特征;包括以下步骤:

S4‑1:将步骤S3‑3中得到的空间特征向量输入到LSTM‑FCN网络中挖掘疲劳视频中的长期时间依赖关系;

S4‑2:LSTM网络包含两层LSTM,第一层LSTM有1024个隐藏单元,其输入为S3‑3中的输出,第二层有512个隐藏单元,其输入为第一层LSTM的输出,每一层后面都加入一层dropout层,防止过拟合;

S4‑3:FCN网络包含三个一维的时间卷积块,该时间卷积块通常在输入序列上应用多个

1×k的1D滤波器来提取时间特征,每个时间卷积块都伴随着批量归一化层BN和一个ReLU激活层,BN层加速网络的训练和提高网络的泛化能力,ReLU激活层使得网络具有非线性拟合能力;FCN中时间卷积块每层的公式为:s=BN(y)

h=ReLU(s)

其中 表示卷积操作,每个时间卷积块中的滤波器大小分别为64、128、256,步长分别为1、2、4;

S5:Softmax分类判断是否疲劳。

2.根据权利要求1所述的一种融合时空特征的疲劳驾驶检测方法,其特征在于:所述S5包括以下步骤:S5‑1:将LSTM网络和FCN网络进行Concat特征融合得到时空特征向量;

S5‑2:使用softmax分类器得到驾驶员疲劳驾驶的概率分布,使用argmax函数获取疲劳分类的结果;

S5‑3:根据疲劳驾驶检测的结果决定是否给驾驶员给予疲劳驾驶提醒警告。