1.一种基于注意力机制的多场景自适应行人轨迹预测方法,其特征在于,所述的方法包括以下步骤:(1)行人历史位置信息获取,采集场景中的图像信息,提取设定时间步长的历史观察位置作为行人轨迹预测的基本位置信息;
(2)设计社会注意模块以捕捉行人的互动信息,利用图卷积网络进一步学习运动趋势,输出时空特征;
(3)设计轨迹对齐模块以充分捕捉不同场景下个体行为的多样性,计算差异并对齐得到行人轨迹的对比差异特征,最终将其融入到主干网络以获取行人轨迹的预测结果;
(4)行人轨迹预测主干网络模型设计:基于多头注意力机制捕获行人历史轨迹序列的特征信息,并结合循环神经网络预测未来时间步长的行人轨迹位置,最终使得模型能够适应不同场景下的轨迹预测任务;
(5)行人轨迹预测模型训练:采用了样本加权的强化训练策略以加强对复杂轨迹的学习;为每个训练样本分配一个权重,并在训练过程中动态更新这些权重,对于那些行人轨迹预测精度较差的样本,增加其训练权重,使其在后续训练中得到更多关注,从而提高模型对复杂轨迹样本的预测准确性;
所述步骤(1)的过程如下:
(1.1)采集场景中的图像信息,提取时间步长 的历史观察位置作为行人轨迹预测的基本位置信息,即:;
其中,Tobs根据实际情况进行设定, 表示第i个行人的基本位置信息,包括在时间步的行人二维平面位置信息,如下:;
其中, 和 分别表示第i个行人在时间步 下的二维横纵位置坐标信息;
(1.2) 采集并提取第i个行人在时间步长 的轨迹位置信息为 :;
;
其中,Tpre根据实际情况与Tobs进行设定, 和 分别表示第i个行人在时间步 下的二维横纵位置坐标信息;
所述步骤(2)的过程为:
(2.1)行人轨迹预测的节点表示设计,在社会注意模块中通过图描述行人的运动轨迹,在每一个时间步长中行人之间的互动被抽象定义为图表示 :;
其中, 是图中行人的顶点集,代表在 时刻所有行人,即N个行人的顶点集; 的值为第i个行人在时刻 观测到的坐标位置 ;边集合表示第i个和第j个行人之间的关系,为每两个行人相互之间均构造关系边;而特征集合 定义为:
;
其中, 为权重, 为ReLU激活函数;
(2.2) 计算社会软注意函数,行人之间的互动包括相向而行、相背而行以及并排行走;
提出一种社会软注意函数来构建邻接矩阵 , 表示第i个和第j个行人之间的注意权重,计算如下:
;
其中, 和 分别是行人i和行人j在时刻 的速度向量;和 分别表示速度向量和 和两个行人连接路径之间的夹角, 和 分别表示行人i和行人j在时刻 的位置坐标;
此外,当 ,即两行人节点相同时,利用 表示节点的自注意值,且 的值根据邻接矩阵 中元素的最大值被设置0.1;
①当行人双方相向而行时,两人的速度向量形成的夹角 和 均为锐角;此时 和均大于零, 计算结果大于0;则表明两个人之间具有显著影响,行人双方需要注意对方以避免正面碰撞;
②当行人双方相背而行时,两人的速度向量形成的夹角 和 均为钝角;此时 和均小于零, 的计算结果被限制为0;则表明背向离开的行人双方之间没有直接的相互影响;
③当行人双方并排行走,即行人i在前,行人j在后时,两人的速度向量形成的夹角α是钝角,而β是锐角;若行人j的移动速率明显高于行人i,则存在未来碰撞的可能性,此时注意函数输出大于0,表明有潜在的碰撞风险;相反,如果行人j的速度低于行人i,那么碰撞风险不存在,注意函数的输出将被设置为0;
碰撞风险的大小采用自然函数形式,以表示行人间随着欧氏距离和相对速度影响的非线性指数变化;
(2.3) 轨迹域特征输出,利用图卷积网络GCN进一步提取时空特征,在时间步长 时刻进行图卷积运算,即:;
;
其中, 为在时间步长 时的邻接矩阵, 为图的次矩阵,为单位矩阵,将时间步长到 的邻接矩阵堆叠为:;
次矩阵堆叠为:
;
同时,将GCN层级中第 层的特征矩阵堆叠为:;
因此,计算经过第 层的GCN输出 为:;
其中, 为第 层的可学习参数,共采用三层GCN网络层提取观测轨迹的时空特征表示,则 ;并且定义经过最后一层GCN网络得到的特征表示为 ,其中 为轨迹域中的行人数量, 和 为提取后特征的数据维度。
2.如权利要求1所述的一种基于注意力机制的多场景自适应行人轨迹预测方法,其特征在于,所述步骤(3)的过程为:(3.1)源轨迹和目标轨迹信息获取,采集源场景和目标场景下的行人轨迹位置信息,并分别获取在源场景下的行人轨迹的图表示,以及目标场景下的行人轨迹的
图表示 ;
(3.2)将 和 分别作为步骤(2)设计的社会注意模块的输入,并分别得到源轨迹的特征表示 和目标轨迹的特征表示 ,这些特征表示包含了每个行人在不同轨迹域中的时空信息;
(3.3)轨迹域注意力分数计算,由于同一个特征向量在不同轨迹域中的表现可能有所不同,因此为了确定行人的特征向量在轨迹域中的代表性,利用注意力机制学习特征向量与轨迹域之间的相对相关性,第i个行人在源轨迹域和目标轨迹域的注意力分数分别为和 ,用于衡量每个行人特征在特定轨迹域中的重要性,计算为:;
;
其中, 和 为可学习的权重参数, 为正切函数, 和 分别为第i个行人在源轨迹域和目标轨迹域的位置特征;
(3.4)行人轨迹对比差异特征 计算,基于步骤(3.3)计算的注意力分数值和 ,分别计算源轨迹域和目标轨迹域的最终特征表示 和:
;
;
之后计算两个轨迹域最终特征表示之间的个体级差异,并通过全连接层将计算后的差异映射到与特征向量 具有相同维度的数据特征,即:;
其中, 为可学习的权值矩阵, 为全连接层,最终,将计算得到的行人轨迹对比差异特征 融入到主干网络模型中,实现全面特征分析的的行人轨迹预测。
3.如权利要求1所述的一种基于注意力机制的多场景自适应行人轨迹预测方法,其特征在于,所述步骤(4)中,行人轨迹预测主干网络模型的处理过程为:(4.1)针对行人历史轨迹位置 ,首先利用神经网络嵌入层对其进行位置编码,并得到编码后的特征数据 :;
其中, 为嵌入层; 代表嵌入层的权重系数,其通过网络训练进行逐步迭代优化得到;且 , ;
(4.2)由于不同场景下的行人运动模式存在差异,通过将步骤(3)得到的不同场景下的行人轨迹对比差异特征 引入主干网络中,以解决不同轨迹域对比的移位问题,即融合后的特征 为:;
其中, 表示数据通道拼接操作;
(4.3)利用多头注意力机制将编码后的位置特征数据 投影到query矩阵,key矩阵和value矩阵中,对于第i个行人序列,计算 , 矩阵为:;
其中, , 和 分别对应的query,key和value函数, , 分别表示第i个行人在第 个注意力头下的query,key和value矩阵,多头注意力的总头数为 ,则;
(4.4)多头注意力的注意力系数 ,以及基于多头注意力的特征向量计算:;
;
;
其中, 为softmax归一化函数, 为归一化因子; 为第 个行人在第 个注意力头的特征计算结果; 为经过多头注意力处理后,包含时间依赖性的第 个行人的特征向量结果, 为数据通道拼接操作;
因此,基于多头注意力机制的整个数据操作为:;
其中, 为多头注意力操作函数;
(4.5)构建基于循环神经网络的轨迹解码器,为了增强行人轨迹序列预测的鲁棒性,将一个服从高斯分布的随机向量 融入到轨迹解码器中,则轨迹解码器的输入特征向量为:;
其次,基于多头注意力机制以及循环神经网络构建了轨迹解码器,并结合全连接层以及ReLU激活函数,最终得到行人轨迹位置的预测结果,即:;
其中, 为第i个行人的轨迹预测结果, 为轨迹解码器处理函数, 为轨迹解码器的网络权值系数。
4.如权利要求1所述的一种基于注意力机制的多场景自适应行人轨迹预测方法,其特征在于,所述步骤(5)的过程如下:(5.1)轨迹预测损失函数设计,目标是预测行人在未来时间步 的轨迹位置,因此,定义损失函数 为:
;
其中, 和 分别表示行人i在时间步 的真实位置向量和预测位置向量, 为计算均方误差,为总行人数;
(5.2)参数初始化,训练数据集中总数为 ,则初始化所有样本的初始权重:;
其中, ,并且初始化行人轨迹预测模型的初始网络参数为 ;
(5.3)对行人轨迹预测模型进行迭代训练,并计算训练数据集中每个样本的损失值:;
其中, 表示第m个训练样本的初始化权值, 表示利用步骤(5.1)计算得到的第m个训练样本的直接损失值, 表示第m个样本的加权损失值;
(5.4)模型参数更新,计算第1次迭代的平均损失 :;
基于该损失计算结果 ,利用梯度下降法进行模型参数优化,并得到第一次迭代后的行人轨迹预测模型的参数 ;
(5.5)更新样本训练权值,根据第1次迭代中每个样本的损失函数计算结果,更新每组训练样本数据的加权值,即:;
其中, 为第1次迭代更新后第m个样本的训练权值,为预设的样本训练权值的学习率,且 ; 为softmax函数;
(5.6)重复步骤(5.3)至步骤(5.5),共迭代 次,共分别得到 次迭代的总损失计算值,以及行人轨迹预测模型的网络模型参数 ;
(5.7)利用模型参数融合方法获取最终的行人轨迹预测模型,首先获取 次训练的模型中每个模型的融合因子 :;
其中, 为第 次迭代训练得到的行人轨迹预测模型的融合因子, 表示第 次迭代训练的总损失值,且 ;
(5.8)基于融合因子对 个行人轨迹预测模型的参数进行加权融合:;
其中, 为融合后的行人轨迹预测模型参数, 为第k次迭代时模型的参数,最终将应用于行人轨迹预测模型的网络参数中,并将其作为最终训练得到的行人轨迹预测模型。