利索能及
我要发布
收藏
专利号: 2024117702467
申请人: 浙江工业大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于联合预测框架的车辆轨迹预测鲁棒增强方法,其特征在于,所述方法包括以下步骤:步骤1、构建联合预测框架USTAN,通过引入教师模型STAN和学生模型STAN‑S的联合框架,所述教师模型用于日常环境下的轨迹预测,所述学生模型通过知识蒸馏技术从教师模型中获得特征,在对抗性噪声场景下保持稳定性能,从而实现对多种环境的预测适应性;

步骤2、为实现学生模型的鲁棒性优化,提出了基于多阶段剪枝和自蒸馏的压缩策略,首先对教师模型的前馈层和循环层进行剪枝,将低权重连接进行分组并逐阶段剪除;接着通过自蒸馏从剪枝后的教师模型中提取知识,构建出能适应复杂噪声环境的学生模型;

步骤3、采用极值理论中的流峰值过阈值方法SPO)检测教师模型与学生模型预测结果之间的差异,通过捕捉预测输出的极端差异变化,将差异值视为异常指标,从而有效识别对抗性轨迹,使得系统能够对输入中的异常轨迹快速响应并采取适应性预测;

步骤4、轨迹预测结果选择,根据检测的结果,系统在教师模型和学生模型的输出中进行动态选择:若检测到异常对抗性轨迹,系统优先输出学生模型的预测结果;若检测到正常轨迹,则输出教师模型的预测结果。

2.如权利要求1所述的一种基于联合预测框架的车辆轨迹预测鲁棒增强方法,其特征在于,所述步骤1的过程如下:步骤1.1、构建教师‑学生联合预测框架

框架包含一个教师模型STAN和一个学生模型STAN‑S,教师模型STAN和学生模型STAN‑S分别对同一轨迹进行预测;

步骤1.2、教师模型的搭建

教师模型STAN首先通过多层感知机MLP和LSTM对目标车辆和邻居车辆的历史轨迹进行编码,其编码过程如式(1)、式(2);随后使用时空注意力模块进行特征提取,空间注意力模块用于捕捉车辆之间的空间交互关系,其Query,Key和Value矩阵由线性变换得到,如式tar nbrs(3),每对(S ,S )的注意力权重通过计算它们之间的点积获得,如式(4)所示;根据相关系数 邻居车辆的特征通过公式(5)的计算被聚集到目标车辆的特征上;多头注意力的Z个聚集特征组成 空间注意力模块捕捉了每个时间步上车辆之间的交互关系,但特征在时间步之间的相关性并未被考虑到;时间注意力模块以空间注意力模块的输出为输入,对车辆在时间维度上的特征进行提取,其Query,Key和Value矩阵通过对G的线性变换得到,如式(6)所示;注意力分数由式(7)得,通过公式(8)实现特征聚合;多头注意力的输出组成Bhead=[Bt,Bt,…,Bt];对于时间注意力和空间注意力输出Ahead及Bhead,分别通过门控线性单元GLU进一步编码特征,如式(9)、(10);最终使用门控递归单元GRU生成预测轨迹,如式(11);STAN在训练中采取均方误差MSE损失函数,定义如公式(13);

tar i

S =LSTM(MLP(V;ω1);ω2)      (1)

nbrs nbrs

S =LSTM(MLP(V ;ω3);ω4)    (2)

nbrs i

式中ω1、ω2、ω3和ω4分别是其对应层的可学习权重,V 是V中不包含V的部分,代表邻居车辆的信息;

其中qt、Kt和Vt分别是t时刻的Query,Key和Value矩阵, 和 分别是目标车辆和邻居车辆t时刻的特征向量,ω4、ω5和ω6分别是其对应层的可学习权重;

式中,<,>是点积操作,rK是Kt的维度; 为注意力向量;

Bz=β·V      (8)

其中ω9、ω10和ω11分别是对应层的可学习参数矩阵,Q、K和V分别是时间注意力模块的Query,Key和Value矩阵;β是由βab组成的分数矩阵,衡量时刻a,b之间特征的时间相关性,是矩阵K的维度;

式中,LN是层正则化,ω8是GLU的参数矩阵,ω12是GLU的参数矩阵,是空间注意力模块的输出;

式中, 表示STAN输出的目标车辆在时刻T+Tp时的预测坐标,ω13和ω14分

别是MLP和GLU的参数矩阵; 和 分别是第n个样本中目标车辆在时刻T

+t时的预测坐标和真实地面坐标,t∈{1,2,…,Tp}。

3.如权利要求2所述的一种基于联合预测框架的车辆轨迹预测鲁棒增强方法,其特征在于,所述步骤2的过程如下:步骤2.1、优化阶段性剪枝

通过将教师模型中的神经连接依据其在网络结构中的作用进行分组,并逐阶段进行剪枝,分组依据如式(13)所示;对STAN完成分组后,每组连接之间具有较低的依赖性,因此SWPO对每组连接都进行单独的幅值剪枝,即为每组连接分配不同的剪枝阈值ε,如果连接的权重小于ε,则该连接将被修剪;将每一层前馈层的连接都单独划分为一个阶段三组,以ffl_group存储,并以ffl_group1的形式表示不同的阶段三组,对每一个阶段三组单独分配一个剪枝阈值;对所有基于RNN层中属于阶段一的连接划分为一个阶段一组,以mixed_group存储,并分配一个剪枝阈值εmixed,对所有基于RNN层中属于阶段二的连接分为一个阶段二组,以recurrent_group存储,分配一个剪枝阈值εrecurrent。对每组中权重小于该分组剪枝阈值的连接进行修剪,剪枝阈值由迭代求解两个子问题的优化问题来设定,第一个子问题旨在微调每组连接的剪枝阈值,第二个子问题优化基于RNN的层中当前连接的权重,如式(14)和(15)所示;

式中,其中ω是STAN中的神经元连接关系,Layerff是所有前馈层的集合,每个前馈层l∈Layerff的连接单独分为一组 所有RNN层中的回归连接分为一组ωrecurrent,所有RNN层中剩下的连接分为一组ωmixed;

式中,其中ωpruned代表模型经过剪枝后的连接关系,ωretrained代表剪枝后的模型经过重新训练的连接关系, 为所有剪枝阈值的集合,|Layerff|+2为连接分组的数量,SP()为基于分阶段分组的幅值剪枝,ftrain和fval分别为计算车辆轨迹预测模型在训练和验证时的准确度的函数,δ为预定义精度,|ω′|为经过SP()处理后的网络网络中的连接数量;

给定STAN模型后,其连接数量|ω|即被确定,公式(14)通过改变剪枝阈值,使得剪枝后模型的验证精度下降在范围δ的前提下,模型中的连接数连接数量尽可能少,获得最优的ω′由ωpruned表示;当获得剪枝模型ωpruned后,公式(15)要求权重相对于训练集进行优化,即重新训练模型ωpruned,使得精度尽可能的高,以更好地适应结构,得到ωretrained;公式(14)和公式(15)相互依存,以迭代的方式进行处理ωpruned,即在以上的步骤之后,ωretrained再由公式(14)进行优化,以此类推,最终当满足某些要求,如达到预定义的迭代次数或重新训练也不能达到定义的精度约束后,迭代停止;在公式(14)的优化中,采用负相关搜索(Negatively Correlated Search,NCS),每一组连接的剪枝阈值ε都作为NCS中的一个个体,其适应度估计函数如式(16)所示;最初,以每组中最低绝对连接权重作为每组各自的剪枝阈值,其集合为ε作为初始总体;在每次迭代中,NCS以启发式的方式生成子代解,即ε的新候选,计算适应度值fitness(ε),并根据这些适应度值和一些启发式规则选择下一代解;负相关设计使得NCS能够在ε的解空间上进行广泛的搜索;在经历过给定数量的迭代次数后,* *NCS将返回具有最低适应度值的解ε ,并生成相应的剪枝模型SP(ω,ε);

步骤2.2、自蒸馏

基于剪枝后的教师模型STAN‑P,为使得学生模型充分地学习到教师模型的知识,将STAN‑P每一模块的输出都作为一项损失与预测误差一起纳入蒸馏损失函数中,如式(17);

LD=λDELDE+λDSLDS+λDTLDT+λDDLDD+λGTLGT     (17)式中,LDE,LDS,LDT,LDD都是教师模型与学生模型对应模块输出的损失函数值,分别属于对应的输入编码模块、空间注意力模块、时间注意力模块、解码模块,LGT是学生模型输出的预测轨迹与和真实轨迹的误差,λDE、λDS、λDT、λDD、λGT分别是五个损失对应的限定系数,用于平衡知识的学习程度;蒸馏中使用MSE函数计算损失,其中四个模块的每项损失用公式(18)表示,另外,预测损失LGT表示如式(18);

式中,LDj表示四个模块损失中的任意一个,Pj表示损失的维度, 和 别表示教师模型和学生模型中模块输出的向量; 是时刻T+t时,第n个样本中,学生模型预测的目标车辆的轨迹坐标,t∈{1,2,…,Tp}。

4.如权利要求3所述的一种基于联合预测框架的车辆轨迹预测鲁棒增强方法,其特征在于,所述步骤3中,使用基于极值理论的异常检测算法SPOT搜索检测边界,为衡量两条轨迹之间的整体差异,首先以公式(20)对教师模型与学生模型输出的预测轨迹计算位移差异qDD,初始化阶段,根据样本数据得到初始峰值阈值t和检测阈值z 。在后续的流式数据处理q中,每当有新的预测差异值生成时SPOT根据其是否超过阈值z进行判断:若超过,则将其标q记为异常值,添加到异常集合中;若介于初始阈值t和z 之间,则更新“峰值”集合并用于下q一轮的t和z的计算;

式中, 和 分别是教师模型与学生模型在时刻T+t时的预测轨迹坐标。

5.如权利要求1~4之一所述的一种基于联合预测框架的车辆轨迹预测鲁棒增强方法,其特征在于,所述步骤4中,轨迹检测输出的值为1或0,1代表检测到对抗轨迹,0代表未检测到;当输出0时,USTAN输出STAN的预测轨迹;输出1时,USTAN输出STAN‑S的预测轨迹。