1.一种驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,包括如下步骤:(1)利用驾驶室前高清摄像头获取的视频数据,对视频进行关键帧抽取形成图像;
(2)利用改进的RPCA算法对图像进行降噪;所述改进的RPCA算法为将加权Schatten‑p范数的最小化引入RPCA中,增强RPCA对图像进行降噪的性能;并结合Laplace算子对图像进行细节的增强,进一步提高图片的清晰度;
(3)将处理好的图像输入FasterR‑CNN模型,生成待识别目标检测框,同时引入Soft‑NMS算法对目标检测框进行处理,降低冗余边界框对检测结果的影响;
(4)基于YOLO框架建立姿态估计识别模型YOLO‑POSE模型,并将GAT注意力机制引入模型提高识别精度;
(5)采用生成对抗网络的多姿态人脸识别算法GAN‑MFER识别驾驶员的面部表情,并将空洞卷积DC融入到算法中,加强对驾驶员病理表情识别的精度;
(6)综合姿态识别与面部表情识别的结果,准确的判断驾驶员当前的状态,并给出相应的警报提示,所述步骤(5)包括:
(5.1)在进行驾驶员姿态识别的同时,采用生成对抗网络的多姿态人脸识别算法GAN‑MFER识别驾驶员的面部表情,提高对驾驶员当前状态判断的精度,公式如下:其中:DN为判别器输出的多姿态人脸校正结果; 为获取到的图像可表示为真实图片的概率; 为被识别图像的身份分类结果;DE为人脸旋转最终输出结果; 为校正产生的损失量; 为判定图像输入来源; 图像分类结果; 为人脸表情分类; 为判别器在生成人脸图像分类时的残差注意力函数;x为图像分布数据;c为表情对应姿态;
生成对抗网络中的双路循环优化函数,公式如下:
其中:Lc‑1表示在人脸侧面‑正面‑侧面的转换双路循环中的优化函数;Lc‑2表示在人脸正面一侧面‑正面的转换双路循环中的优化函数;n为循环次数;xi为节点i分布的数值;GE为侧面人脸生成器;GN为正面人脸图像;
(5.2)在生成对抗网络的多姿态人脸识别算法中引入空洞卷积网络DC,提升识别精度与检测效率,公式如下:spatial
ft =E(It)
temporal
ft =P(ft‑1,ft‑2)
spatial temporal
ft=S(ft ,ft )
spatial
其中:ft 为两帧内计算得到的特征图;E(·)为空间信息估计器;It为输入图像;
temporal
ft 为计算得到的时间特征图;P(·)为ConvLSTM预测器;ft‑1、ft‑2为两帧的特征图;ft为最终特征;S(·)为时空信息融合。
2.根据权利要求1所述的驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,所述步骤(2)包括:(2.1)利用Schatten‑p范数来实现低秩正则化,其公式如下:其中:X为目标函数的低秩矩阵;W为非负矢量;σi是X的第i个特征值;n和m分别为矩阵X的行数和列数;ωi为W的第i个元素;p为权重;L为增广拉格朗日函数;E为单位矩阵;Z为拉格朗日乘子;μ是一个正标量;Y为观测数据;b为权重向量;
(2.2)对降噪过的图像利用Laplace算子对图像进行细节的增强,公式如下:其中,g表示梯度;(i,j)表示像素点的坐标;k、l分别为横向和纵向上的灰度值;(r,s)为(i,j)的邻近像素点的坐标;f为二维离散函数;H为方向导数。
3.根据权利要求1所述的驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,所述步骤(3)包括:(3.1)利用VGG16特征提取网络对图片进行特征提取,得到图片的特征图,损失函数如下:其中:Lcls为前景对数损失;pi是第i个像素点预测为目标的概率; 为第i个像素点的特征值;λ为平衡比例;N为像素点总数;Lreg为后景的对数损失;ti为第i个像素点的位置; 为ti的偏移量;
(3.2)通过选择性搜索算法SS得到图像的感兴趣区域,即生成候选框,计算公式如下:s=a1scolor+a2stexture+a3ssize+a4sfill其中:scolor、stexture、ssize、sfill分别为当前区域块的颜色相似度、纹理相似度、尺寸相似度和填充相似度;s为以上四个相似度集合而成的候选框;n为图片划分的总区域块数;k为区域块的编号;c、t分别为当前像素点的颜色相似度和纹理相似度;r为正在被检测的区域快;B为包含r及其邻近区域快的区域;i,j均为区分下标;a1、a2、a3、a4为采纳权重,取0或1;
(3.3)对候选框进行ROIpooling池化操作,获得统一大小的特征框图;
(3.4)对所有得到的候选框进行非极大值抑制,采用Soft‑NMS算法替换原来的NMS算法,Soff‑NMS在算法执行过程中不是简单的删除IoU大于阈值的检测框,而是运用线性加权函数计算降低其得分,函数公式如下:其中:Si为第i个预测框对应的置信度得分;M为最高得分的候选框;boxi为待检测框;Nt为超参数设定的重叠阈值;IoU为boxi和M的交集与并集的比。
4.根据权利要求1所述的驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,所述步骤(4)包括:(4.1)建立YOLO‑POSE模型用于识别驾驶员相对固定姿态下的动作识别,主要包括以下三个部分:标记待检测框中的人体关键点与置信度,计算关键点的相似度,公式如下:其中:S为待检测目标框;Cx,Cy分别为锚点的横坐标和纵坐标;W为待检测框的宽度;H为待检测框的高度;boxconf为待检测框的置信度;classconf为待检测框的类别置信度;
为第i个人体关键点的横坐标和纵坐标; 为第i个人体关键点的置信度, 取整数;n为待检测框上人体关键点的个数;U为关键点的相似度;exp是以自然常数e为底的指数i函数;p为待检测框的编号;p 为该人骨骼关键点的编号; 表示该关键点在图片上的可见性; 为真实点与预测点之间的欧式距离的平方;Sp表示检测框所占面积的平方根;σi为该关键点的标准差;
YOLO‑POSE模型采用HorNet网络作为模型的卷积核,利用高阶的门控卷积以及递归设计来实现高阶空间交互,相关公式如下:Tk+1=fk(Pk)⊙gs(Tk)/α,k=0,1,…,n‑12
FLOPs(gnConv)
1,…,n‑1;α为缩小倍数;gs为维度映射函数;Ck为第k此运算的维数,k=0,1,…,n‑1;n为卷积层数;Cc为总维数;FLOPs为总运算量;gnConv为n阶空间交互能力;M为卷积核的尺度;
(4.2)将图注意力机制GAT引入到YOLO‑POSE模型中,精确地加权聚合每个关键点的邻近关键点,GAT公式如下:其中:αij为节点i与节点j之间的注意力系数;exp是以自然常数e为底的指数函数;
T
LeakyReLU为一函数;α为权重参数的转置;W为每层共享的特征变换权重矩阵;hi为节点i的特征向量;hj为节点j的特征向量;h′i为节点i的特征;τ为激活函数;Ni为节点i邻居节点的k数量;W为注意力权重矩阵。
5.根据权利要求4所述的驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,所述步骤(4.1)中定义的边界框损失函数,公式如下:其中:LCIoU为边界框损失函数;IoU为真实框与预测框的交集面积与并集面积的比值;Agt 2 gt为真实框面积;B为预测框面积;d与d 分别为预测框和真实框中心点的坐标位置;ρ (d,d )2
为两个中心点的欧式距离的平方;j为是预测框与真实框所组成的最小闭区域的对角线的z z长度;β为惩罚系数;v为预测框与真实框宽高比的惩罚项;w与h分别为真实框的宽和高;w与h为预测框的宽和高。
6.根据权利要求1所述的驾驶人员异常行为、疼痛表情识别与预警方法,其特征在于,所述步骤(6)包括:综合姿态识别与面部表情识别的结果,判断驾驶员当前的状态;当驾驶员出现频繁点头以及长时间眨眼等动作,则判断为驾驶员为打盹,属于疲劳驾驶状态,则会利用广播或喇叭自动喊话提醒;
当驾驶员身体出现大幅度晃动、捶胸、倒地以及出现疼痛类表情时,则判断驾驶人员为突发疾病,则车内、外的警报器会响起,提醒车内外人员采取相关措施,减少事故发生率以及人员伤亡率。
7.一种驾驶人员异常行为、疼痛表情识别与预警系统,其特征在于,包括:数据获取模块,用于利用驾驶室前高清摄像头获取的视频数据,对视频进行关键帧抽取形成图像;
图像增强模块,用于利用改进的RPCA算法对图像进行降噪;所述改进的RPCA算法为将加权Schatten‑p范数的最小化引入RPCA中,增强RPCA对图像进行降噪的性能;并结合Laplace算子对图像进行细节的增强,进一步提高图片的清晰度;
目标检测模块,用于将处理好的图像输入Faster R‑CNN模型,生成待识别目标检测框,同时引入Soft‑NMS算法对目标检测框进行处理,降低冗余边界框对检测结果的影响;
图像识别模块,用于采用生成对抗网络的多姿态人脸识别算法GAN‑MFER识别驾驶员的面部表情,并将空洞卷积DC融入到算法中,加强对驾驶员病理表情识别的精度,包括:(5.1)在进行驾驶员姿态识别的同时,采用生成对抗网络的多姿态人脸识别算法GAN‑MFER识别驾驶员的面部表情,提高对驾驶员当前状态判断的精度,公式如下:其中:DN为判别器输出的多姿态人脸校正结果; 为获取到的图像可表示为真实图片的概率; 为被识别图像的身份分类结果;DE为人脸旋转最终输出结果; 为校正产生的损失量; 为判定图像输入来源; 图像分类结果; 为人脸表情分类; 为判别器在生成人脸图像分类时的残差注意力函数;x为图像分布数据;c为表情对应姿态;
生成对抗网络中的双路循环优化函数,公式如下:
其中:Lc‑1表示在人脸侧面‑正面‑侧面的转换双路循环中的优化函数;Lc‑2表示在人脸正面‑侧面‑正面的转换双路循环中的优化函数;n为循环次数;xi为节点i分布的数值;GE为侧面人脸生成器;GN为正面人脸图像;
(5.2)在生成对抗网络的多姿态人脸识别算法中引入空洞卷积网络DC,提升识别精度与检测效率,公式如下:spatial
ft =E(It)
temporal
ft =P(ft‑1,ft‑2)
spatial temporal
ft=S(ft ,ft )
spatial
其中:ft 为两帧内计算得到的特征图;E(·)为空间信息估计器;It为输入图像;
temporal
ft 为计算得到的时间特征图;P(·)为ConvLSTM预测器;ft‑1、ft‑2为两帧的特征图;ft为最终特征;S(·)为时空信息融合。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现根据权利要求1‑6任一项所述的驾驶人员异常行为、疼痛表情识别与预警方法。
9.一种存储介质,存储有计算机程序,其特征在于,所述计算机程序被设计为运行时实现根据权利要求1至6任一项所述的驾驶人员异常行为、疼痛表情识别与预警方法。