1.一种基于时空金字塔的自动驾驶轨迹预测方法,其特征在于,包括以下步骤:S1.对自动驾驶车辆所载传感器收集的雷达点云数据进行预处理,得到BEV图;
S2.提取自动驾驶车辆行驶道路的卫星图像,获取局部路径图;
步骤S2获取局部路径图的过程为:
S11.获取自动驾驶车辆行驶道路对应的谷歌卫星图像,连接谷歌卫星图像中的道路交叉口点与急转弯点构造稀疏全局图;
S12.在稀疏全局图中的每条边上应用线性插值创建稠密的局部路径图;
S13.将稠密的局部路径图投影到具有固定宽度的虚拟路径的激光雷达BEV图上,将接收投影后的激光雷达BEV图转换为二进制图像得到局部路径图;
S3.构建基于时空金字塔transformer的神经网络模型;
S4.将BEV图与局部路径图进行整合,将整合结果输入到神经网络模型进行处理,得到自动驾驶车辆的轨迹与交通参与者的分类结果;
通过CNN网络对BEV图与局部路径图进行整合,得到语义分割图像的过程为:S21.将鸟瞰图与局部路径图输入到CNN网络的卷积层学习深层抽象特征,其中局部路径图被用作地面真实值;
S22.将深层抽象特征进行归一化处理,得到归一化特征;
S23.通过ReLU激活函数对归一化特征进行非线性变换;
S24.通过最大池化对非线性变换后的归一化特征进行降采样,提取区域显著性特征;
S25.判断是否得到深层次语义特征,若是,则执行步骤S26,若不是,则将步骤S21中的输入替换为步骤24提取的区域显著性特征,返回步骤S21;
S26.利用双线性插值对深层次语义特征进行上采样;上采样后接入一个分类层识别像素点,识别完成后输出语义分割图像;
将鸟瞰图与局部路径图的深层抽象特征进行归一化处理表示为:
2
其中,c表示输入特征,μ是c的均值,σ是c的方差,γ是可学习的缩放因子,β是可学习的平移因子;
采用神经网络模型处理BEV图与局部路径图整合得到的语义分割图像,得到自动驾驶车辆的轨迹与交通参与者的分类结果的过程包括:S31.采用第一组合块处理语义分割图像得到第一时空特征图,采用第二组合块处理第一时空特征图得到第二时空特征图,采用第三组合块处理第二时空特征图得到第三时空特征图,采用第四组合块处理第三时空特征图得到第四时空特征图;
S32.将第四时空特征图分别输入到Transformer路径点特征编码器和Transformer路径点位置编码器,输出对应的路径点嵌入和路径点位置嵌入;
S33.将路径点嵌入和路径点位置嵌入输入Transformer编码器;
S34.将Transformer编码器的输出和路径点位置嵌入输入Transformer解码器,输出有序的路径点嵌入;
S35.将反卷积后的第四时空特征图与第三时空特征图融合得到第一融合特征图,将第一融合特征图送入第一特征解码器,将第一特征解码器的输出反卷积后与第二时空特征图融合得到第二融合特征图,将第二融合特征图送入第二特征解码器,将第二特征解码器的输出反卷积后与第一时空特征图融合得到第三融合特征图,将第三融合特征图送入第三特征解码器,将第三特征解码器的输出反卷积后与语义分割图像融合得到第四融合特征图,将第四融合特征图送入第四特征解码器;
S36.通过插值法将第四特征解码器的输出与有序的路径点嵌入结合,得到自动驾驶车辆的轨迹与交通参与者的分类结果;
步骤S32中采用Transformer路径点特征编码器得到路径点嵌入的过程为:S101.将第四时空特征图输入Transformer路径点特征编码器中的第一卷积层,得到第一特征图;
S102.将第四时空特征图输入Transformer路径点特征编码器中的第二卷积层,得到道路分割掩码;
S103.将道路分割掩码输入Transformer路径点特征编码器中的第三卷积层,得到第二特征图;
S104.采用对应元素相加法,将第一特征图与第二特征图相加得到路径点嵌入;
步骤S32中采用Transformer路径点位置特征编码器得到路径点位置嵌入的过程为:S201.将第四时空特征图输入Transformer路径点位置特征编码器中的第一卷积层,将其输出送入softmax层得到路径点热图;
S202.将路径点热图输入Transformer路径点位置特征编码器中的第二卷积层,得到路径点位置嵌入。
2.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法,其特征在于,将雷达点云数据量化为规则体素并形成三维体素格,采用二进制状态表示每个体素格的占用情况,将三维体素格的高度维数对应于二维伪图像的图像通道,从而将三维的雷达点云数据转换为二维伪图像,即所需的BEV图。
3.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法,其特征在于,步骤S31中的每一个组合块结构相同,包括一个时空卷积层和一个时间池化层,时空卷积层以分层方式沿空间维度和时间维度来提取特征,在空间维度,以2的比例步长来计算不同尺度上的特征图,得到不同尺度的空间特征;在时间维度,每次时间卷积后以1/2的比例逐步降低时间分辨率,得到不同尺度的时间特征。