利索能及
我要发布
收藏
专利号: 2024117255586
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,包括以下步骤:S1:获取数据集数据,包括每个时间步行人的位置坐标,其中 为行人在时间步 的二维坐标,表示行人个体, 为观察时间段的长度, 使用 Transformer 的位置编码对轨迹数据进行编码;

S2:使用自注意力机制学习每个行人的时间依赖性特征;

S3:将行人坐标转换为空间图,随后将空间图与权重进行线性变换,得到图嵌入矩阵,利用自注意力机制得到行人在空间中的空间交互矩阵,随后,结合稀疏门控机制进行权重稀疏化和归一化处理,得到空间特征;

S4:跨时空交互特征通过多头自注意力来提取,结合稀疏门控机制进行权重稀疏化和归一化处理,得到跨时空交互特征;

所述步骤S4中,跨时空相关性特征通过多头注意力机制来提取,包含以下步骤:S41:对于时空交互特征的提取,首先使用transformer的多头注意力机制来构建空间和时间的交互注意力权重矩阵 ;

其中, 、 为跨时空维度中的查询矩阵和键矩阵, 为特征维度的缩放因子;

S42:对计算得到的跨时空注意力矩阵 进行稀疏化处理,首先,通过稀疏门控机制进行稀疏化,减少冗余连接,具体稀疏化操作如下:;

这一过程利用卷积神经网络提取跨时空特征的高阶信息,并通过 ReLU 和 sigmoid 的组合来稀疏化注意力权重,提取出最有意义的跨时空连接;

S43:对稀疏化后的权重矩阵 进行归一化处理,确保计算过程中的数值稳定性,归一化公式如下:;

将归一化后的稀疏注意力权重矩阵与特征矩阵 相乘,得到跨时空特征表示:;

S5:获取时间特征、空间特征和跨时空交互特征,通过激活函数自适应融合时间特征、空间特征和跨时空相关性特征;

S6: 将融合后的时空特征通过时间外推卷积神经网络MTCN,结合多层预测特征来联合估计未来轨迹的二维高斯分布参数,使用最小化负对数似然损失函数对网络模型进行训练,实现多轨迹预测。

2.根据权利要求1所述的多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,所述步骤S1包括以下步骤:S11:获取数 据集数据,包括 每个时间步行人的 位置坐标,表示 为;

S12:使用 Transformer 的位置编码对轨迹数据进行时间编码,位置编码通过对每个时间步 t 生成相应的编码向量,表示时间信息,以保持时序信息在 Transformer 编码器中的传递,通过位置编码函数将每个位置点 映射到高维空间中: ;

其中, 函数通过对时间步长的正余弦函数计算来生成嵌入向量,将所有时间步的轨迹点编码后,组合形成轨迹表示矩阵 ,用于后续模块的输入,其中, 是轨迹时间步的位置索引,i 是编码维度,d是模型的隐层维度。

3.根据权利要求1所述的多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,所述步骤S2中,时间依赖性特征通过Transformer的自注意力机制进行学习,包含以下步骤:S21:提取每名行人的轨迹特征并进行线性投影,然后对每个行人执行自注意力操作,以获得特征矩阵,随后与每个行人对应权值相乘得到时间特征;

其中 为时间维度中包含时间依赖型的特征表示, 、 和 分别为时间维度中的查询矩阵、键矩阵和值矩阵, 为特征维度的缩放因子。

4.根据权利要求1所述的多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,所述步骤S3中,从输入中提取每个时间步的所有行人的空间状态,包含以下步骤:S31:将行人坐标转换为空间图 ,分别表示行人之间的节点和边集合, 为观测到的坐标位置 , 表示节点之间是否存在连接,1表示连接,0表示未连接;

S32:首先将空间图与权重进行线性变换,得到图嵌入矩阵,随后利用自注意力机制计算行人在空间中的空间交互矩阵 :;

其中 表示线性变换, , , 为对应权重矩阵, , ,分别为查询、键矩阵, 为特征维度的缩放因子;

S33:对计算得到的空间注意力矩阵 进行稀疏化处理,通过稀疏门控机制进行稀疏化,减少冗余连接;具体稀疏化操作如下:;

这一过程利用卷积神经网络提取空间特征的高阶信息,并通过激活函数 ReLU 和 Sigmoid 的组合来稀疏化注意力权重;

S34:空间图矩阵通过   函数进行归一化,确保计算的数值稳定性,公式如下: ;

其中, ;

S35:最后,将归一化后的权重矩阵  与行人节点特征  相乘,得到最终的空间特征:;

其中, 为权值矩阵。

5.根据权利要求1所述的多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,所述步骤S5自适应融合模块包含以下步骤:S51:获取时间特征 、空间特征 和跨时空相关性特征 ,对每一分支的特征,计算中间特征  和门控权重  ,中间特征计算公式为:;

权重计算公式为:

其中, 和 为线性投影函数的可学习权重,时间特征、空间特征和跨时空相关性特征采用不同的线性投影权重;

S52:通过 函数对每个分支的权重  进行归一化:;

S53:将每条分支的中间特征与归一化后的权重相乘,再相加得到最终融合特征:;

其中, 、 、 为时间、空间、跨时空特征经过自适应融合模块时的中间过度特征。

6.根据权利要求1所述的多尺度时空特征融合网络的行人轨迹预测方法,其特征在于,所述步骤S6,包含以下步骤:S61:多层时间外推卷积神经网络模块通过多层卷积操作捕获时空图卷积特征中的时间依赖性,第一层时间卷积层接收图卷积特征,进行时空特征的初步卷积提取,并逐步堆叠卷积层,每一层卷积后的特征通过ReLU激活函数处理;

S62:通过一层全连接层将最终的卷积特征映射到行人未来轨迹坐标的预测值上;

S63:通过多层时间外推卷积神经网络(MTCN)得到预测轨迹的双变量高斯分布参数,随后,通过最小化负对数似然损失函数来训练网络模型,;

其中, 为预测均值、 为预测标准差、 预测相关系数;

S64:本模型使用Adam优化器对参数进行优化,学习率为0.001,批量大小为32,训练轮数为200轮,使用ETH,UCY数据集进行训练和测试,用于评估行人轨迹预测和群体行为分析,该数据集包含不同场景下的行人轨迹数据,UCY 数据集包含多个复杂环境下的行人轨迹数据,在动态和复杂的城市环境中,包含多个行人之间的交互;

评价指标为ADE和 FDE,来评估预测轨迹的准确性:;