欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2022110453642
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于姿态感知与几何约束下的驾驶员行为识别方法,其特征在于,包括以下步骤:(1)输入预先获取的驾驶员行车视频,抽取首帧图片作为数据源,通过YOLOv5目标检测检测到最大占比人体驾驶员的位置;采用HRNet对图片中的驾驶员进行姿态估计,获取驾驶员的关节点信息;

(2)将视频输入到ResNet50中获取全局特征图,利用关节点的位置获取各个关节点相关的视觉特征;

(3)对驾驶员的上半身人体关节点进行解构,同时根据各点的坐标位置获取几何特征;

(4)将视觉表观特征与几何特征融合,通过线性层预测相应的行为;

步骤(1)所述驾驶员的关节点信息包含关节点的位置的坐标和置信度;

步骤(1)所述对图片中的驾驶员进行姿态估计只考虑对驾驶员上半身12个关节点进行姿态估计;所述12个关节点包括颈部、左肩、左肘、左手腕、右肩、右肘、右手腕、鼻子、左眼、右眼、左耳和右耳;

所述步骤(2)实现过程如下:

(21)采用ResNet‑50网络作为主干网络,将整张图片作为全局特征提取的输入,使用的ResNet‑50在ImageNet进行过预训练模型,并对模型进行微调,将模型的最后的全连接层进行修改以适应驾驶员行为识别任务;整张图片经过主干网络后得到特征图F,在其后面再添加一个残差块结构得到全局特征fC:fC=(ResC(F))

(22)为了获取对应人体关节点的相关视觉特征,利用关节点的位置获取视觉表观特征;具体的操作为以人体关节点为中心,设定每个获取特征的检测框的尺寸为Wh×Hh,具体的大小由检测出的人体关节点的范围决定:Wh=Hh=λh·max{xmax‑xmin,ymax‑ymin}其中,λh为超参数,xmax,xmin为检测出来的人体关节点横坐标最大和最小的值,检测框区域设为xh;

(23)每个部位相关区域的特征按以下公式进行提取:

fA=σ(WA·GAP(Resl(RoI(fC,xh)))+bA)其中,fA为单个关节点相关区域的特征,σ为Relu激活函数,{WA,bA}为表观权重矩阵和偏置,GAP为全局平均池化,Res为残差块,RoI为感兴趣区域;

所述步骤(3)实现过程如下:

对驾驶员上半身人体进行解构操作,将其分为4个区域,分别为头部、颈部、左肩和右肩;其中头部区域以眼部为中心点,颈部区域以颈部为中心点,左肩和右肩区域分别以左肘和右肘为中心点;以颈部点为中心学习更具鲁棒的几何特征:m n

计算几何特征 的过程如下,计算相对距离向量 的方法为:[log(|x‑x|),m n m m n n

log(|y ‑y|)],将得出的向量进行拼接得到 x,y 区域中各点坐标,x ,y为各区域中心i * i * i i坐标;计算绝对姿态不变向量 的方法为[log(|x‑x|),log(|y‑y |)],x,y为上半身关* *节点各点坐标,x,y为颈部坐标;为了利用复杂的非线性空间关系,将这些几何特征嵌入到高维特征,具体表示为:其中,fG为空间特征,{WG,bG}为几何权重矩阵和偏置,CONCAT为拼接操作;

所述步骤(4)实现过程如下:

将各组空间特征和表观视觉特征进行融合:

fSR=CONCAT[fG,fA(1),fA(2),...,fA(12)]其中,fSR为最后融合的特征,fG为空间特征,fA(n)为各个区域的视觉表观特征,总共12个区域,依次进行拼接;

最后通过线性层预测各类的概率分布:

其中,p为长度为10的最终预测向量,{WC,bC}为融合特征权重矩阵和偏置。

2.一种采用如权利要求1所述方法的基于姿态感知与几何约束下的驾驶员行为识别系统,其特征在于,包括驾驶员姿态估计模块、视觉表观特征模块和几何特征模块;所述驾驶员姿态估计模块对驾驶员人体进行检测并获取驾驶员的关节点信息,包含关节点坐标位置和置信度;所述视觉表观特征模块获取驾驶员的关节点对应的局部表征;所述几何特征模块对驾驶员人体进行解构,设置各区域局部中心坐标和全局不变中心坐标点,并学习驾驶员不同行为下的几何特征。