利索能及
我要发布
收藏
专利号: 2024108019423
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合车内外影像的驾驶员转向意图识别方法,其特征在于,包括以下步骤:S1、构建转向意图识别模型,用于根据车内外的影响进行驾驶员转向意图识别;转向意图识别模型包括车内特征提取模块、车外特征提取模块、车内外特征融合模块和分类器识别模块;

车内特征提取模块基于3D残差网络构建,用于根据车内的驾驶员影像获取车内的驾驶员意图特征;影像处理模块用于将车外的道路环境视频转换为车辆与其他交通参与者之间相对运动信息的光流图;车外特征提取模块用于根据转换得到的光流图获取车外的道路环境特征;

车内外特征融合模块用于融合驾驶员意图特征和道路环境特征,得到综合判断特征;

分类器识别模块用于根据综合判断特征识别驾驶员的动机行为,动机行为包括直行、左变道、左转、右变道和右转;

S2、对转向意图识别模型进行训练;

S3、实际驾驶时获取车内外影像,并通过训练后的转向意图识别模型进行驾驶员意图识别,用于智能辅助驾驶;

其中,车内特征提取模块基于3DresNet的Stage 1中引入空洞卷积构建;其中,所述Stage1包括卷积层和最大池化层,用于提取和融合三维数据中的空间特征;3DresNet为

3DResNet34、3DResNet 50或3D ResNet 101;

车外特征提取模块包括ConvLSTM和四个依次连接DSMax模块;ConvLSTM用于根据光流图进行光流特征预测;四个DSMax模块用于进一步提取和抽象ConvLSTM预测的光流特征中的关键特征,作为道路环境特征;

车内外特征融合模块的工作过程包括:将驾驶员意图特征和道路环境特征按照列维度进行水平拼接,得到一个组合特征;随后,利用线性层和sigmoid激活函数计算注意力权重;

再将组合特征与注意力权重进行逐元素乘法操作,得到最终的特征表示,作为综合判断特征。

2.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:S2中,对转向意图识别模型进行训练时,应用模型冻结训练策略,将车内特征提取模块和车外特征提取模块的参数冻结,利用先前权重文件学习到的知识的同时,使模型将资源和注意力聚焦在训练后续部分上。

3.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:DSMax模块为在DSC的输出上应用最大池化层得到;DSC由逐深度卷积DWConv和逐点卷积PWConv组成;DWConv针对输入特征图的每个通道,都使用一个卷积核进行卷积操作,然后将各通道的输出拼接得到最终输出;PWConv为1×1卷积,用于对DWConv输出的特征图进行通道融合操作,得到有效整合特征信息。

4.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:四个依次连接的DSMax模块的通道数量分别为64、128、256、512,输出特征图在空间维度上的尺寸分别为37×59、12×20、4×7、1×2。

5.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:利用线性层和sigmoid激活函数计算注意力权重的公式为:其中,W为线性层的权重,X为输入特征向量,b为偏置。

6.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:影像处理模块为FlowNet 2.0;分类器识别模块为由全连接层FC和Softmax层组成的分类器。

7.如权利要求1所述的融合车内外影像的驾驶员转向意图识别方法,其特征在于:车内特征提取模块的损失函数为交叉熵损失函数;

式中,C表示类别数,pi为真实标签中第i类的取值,qi为预测概率;

车外特征提取模块和车内外特征融合模块的损失函数为均方差损失函数;

式中,N为样本个数, 为预测值,yi为目标值。