利索能及
我要发布
收藏
专利号: 2022106770033
申请人: 智车(上海)实业有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力神经网络的智能汽车视觉目标检测方法,其特征在于,包括:

驾驶员眼动信息和车辆状态信息获取步骤:使用眼动仪采集驾驶员注视点信息,采用相机采集车辆前图像信息,通过标定将注视点投影于图像中。采用惯性导航单元采集车辆状态信息。将上述数据进行时间对齐。

注意力分布估计模型建立步骤:基于神经网络建立注意力分布估计模型,注意力分布估计模型分为注意力点提案部分和注意力点修正部分。通过注意力点提案部分得到注意力点初始估计,通过注意力点修正部分对其进行修正。以注意力估计点为均值,采用二维高斯分布建立注意力分布。

基于动态神经网络的目标检测模型建立步骤:通过卷积神经网络进行特征提取,通过门控动态特征金字塔进行多尺度特征融合,通过多层感知机进行分类、回归。

基于注意力估计模型与动态神经网络的智能汽车视觉目标检测部署步骤:根据历史车辆状态和目标物历史状态动态调节目标检测模型的计算资源分配。

2.根据权利要求1所述的一种基于注意力神经网络的智能汽车视觉目标检测方法,其特征在于,所述驾驶员眼动信息和车辆状态信息获取步骤:所述驾驶员注视点信息包括:驾驶员注视点在图像中的归一化位置。所述车辆状态信息包括:速度、加速度、航向角。

所述归一化位置指:取图像左边界为横轴0线xmin,图像右边界为横轴1线xmax,图像中天际线为纵轴0线ymin,图像中车辆前沿为纵轴1线ymax,以上述基准进行归一化。

3.根据权利要求1所述的一种基于注意力神经网络的智能汽车视觉目标检测方法,其特征在于,所述注意力分布估计模型建立步骤包括:基于神经网络建立注意力分布估计模型,注意力分布估计模型分为注意力点提案部分和注意力点修正部分。注意力点提案部分采用门控循环单元(GRU)进行对历史车辆速度与航向角变化率等信息进行编码,通过多层感知机得到注意力点的初始估计;注意力点修正部分采用门控循环单元(GRU)进行对历史目标物位置与尺度信息进行编码,通过多层感知机得到注意力点的修正量,对注意力点的初始估计进行修正,从而得到最终估计。以注意力估计点为均值,采用二维高斯分布建立注意力分布,分布标准差可根据实际部署需求调节。

将驾驶员眼动信息和车辆状态数据集按照视频中存在目标物和不存在目标物进行划分,首先通过不存在目标物的数据集对注意力分布估计模型的注意力点提案部分进行训练,训练过程中冻结注意力点修正部分的参数,之后通过存在目标物的数据集对注意力点修正部分进行训练,训练过程中冻结注意力点提案部分的参数。

4.根据权利要求1所述的一种基于注意力神经网络的智能汽车视觉目标检测方法,其特征在于,所述基于动态神经网络的目标检测模型建立步骤包括:基于动态神经网络的目标检测模型采用一种卷积神经网络作为骨干网络提取图像特征,采用一种动态特征金字塔网络进行多尺度特征融合,该动态特征金字塔网络的每层中具有多个不同尺寸的滤波器,并通过门控单元控制滤波器的激活状态,门控单元可由外部输入控制。

5.根据权利要求1所述的一种基于注意力神经网络的智能汽车视觉目标检测方法,其特征在于,所述基于注意力估计模型与动态神经网络的智能汽车视觉目标检测部署步骤包括:将历史车辆状态与历史目标物信息输入注意力分布估计模型,得到注意力分布。将注意力分布根据相机内外参投影于当前图像中。根据注意力分布,设置阈值划分关键区域与非关键区域。对关键区域内的门控单元进行激活,关闭非关键区域内部分门控单元,从而实现提高关键部分目标检测准确率与模型整体效率。