利索能及
我要发布
收藏
专利号: 2023112863063
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征如下,包括以下步骤:A、高精度数据采集:

A1、视频采集:首先,使用无人机收集数据,利用航测无人机对交叉口进行航拍;收集并手动注释了一个名为弱势道路使用者数据集的无人机鸟瞰图数据集,其中包括大量的弱势道路使用者;

A2、视频处理:结合GPS定位点,采用尺度不变特征变换算法消除无人机对捕获视频的干扰;

A3、目标检测:使用MHA‑YOLOv8模型对视频中所有轨迹点进行目标检测,其中MHA‑YOLOv8模型在YOLOv8主干网SPPF之前集成Transformer模块,引入多头自注意力机制,其次,在小检测头上引入了坐标关注模块;

A4、跟踪和数据提取:利用T‑SORT算法对交通运输车进行跟踪,并根据采集到的GPS特征点将交通运输车轨迹转换为坐标系,构建高精度地图,并对交通数据进行分析,输出多维高精度交通运输车轨迹数据集,其中T‑SORT算法将IoU匹配模块集成到SORT++框架中,并且T‑SORT算法引入采用CNN网络结构实现MFE模型,包括采用卷积神经网络进行多任务学习,同时训练各种交通参与者的运动轨迹特征,包括以下步骤:从交通监控视频中手动提取包含所有交通参与者的连续帧序列;

对于每个交通参与者,我们在每一帧中标注它的旋转包围框信息,包括包围框的中心坐标、宽度、高度和旋转角度,定义CNN网络的输入如下:X=[X1,X2,…,XT]

其中XT表示旋转边界框的信息;

利用多个卷积核对输入特征进行卷积运算,提取空间特征;

然后使用池化层对卷积特征进行池化操作,降低维数;

然后使用全连接层对池化特征进行全连接操作,生成特定任务和特定类型的运动特征;

其中,任务分支包括为不同的运动特征任务设计独立的分支,旨在提取特定交通参与者的运动特征;

类型分支包括针对不同类型的交通参与者建立独立分支,便于提取特定类型的运动特征;

融合层用于集成特定任务和特定类型的运动特征,从而产生最终的运动特征表示,具体公式如下:Z=Fmerge(Ztask,Ztype)

其中,Ztask表示特定于任务的运动特征,Ztype表示特定于类型的运动特征。

2.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:所述的视频处理方法采用尺度不变特征变换算法结合GPS特征点来实现视频稳定,解决图像失真问题,包括以下步骤:B1、利用航空测量构建的高精度地图中的GPS特征点作为定位点;

B2、应用尺度不变特征变换算子从视频的第一帧和最后一帧提取图像特征点;

B3、通过特征点匹配在视频中选择若干帧进行稳定,将定位点与尺度不变特征变换得到的图像特征点相结合;

B4、利用GPS定位点和图像特征点,构造特征模板的仿射变换矩阵;

B5、该矩阵有利于视频中每一帧的快速径向变化和对齐,有效地完成整个视频稳定过程。

3.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:所述的目标检测方法使用了MHA‑YOLOv8模型,引入了一个定向边界框检测器来代替原YOLOv8水平边界框检测器,增强了数据输出的格式;所述的YOLOv8模型整合了注意力机制,改进了YOLOv8在识别小目标弱势道路使用者方面的性能。

4.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:所述的目标检测方法提出了MHA‑YOLOv8框架;引入Transformer模块的多头自注意力机制,包括以下步骤:通过以下公式计算自注意力特征,具体公式如下:

其中TA为自注意特征值;Q为查询向量;K为键值;V是一个值向量;dk表示比例因子;

最后,通过多层感知器处理得到一个信息丰富的特征图。

5.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于,所述的YOLOv8的检测头中引入了坐标关注模块;所述的坐标关注模块通过注意力映射捕获输入特征图中所有空间位置之间的关系,具体公式如下:其中CAi,j表示注意力映射的值;H和W分别表示输入特征图的高度和宽度;Q′i,j表示坐标关注模块的查询向量;K′u,v表示键值;Vu,v表示特征映射的值;d′k表示特征向量的维数;E表示编码空间中相对位置的坐标嵌入,用(i,j)和(u,v)表示。

6.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:在MHA‑YOLOv8框架中,首先卷积层从输入图像中提取初始特征,然后使用深度可分离卷积层进行进一步的特征提取和尺寸减小,包括以下步骤:深度卷积:输入特征图的每个通道使用相应的核进行独立卷积,得到与输入特征图具有相同通道数的中间特征图;

逐点卷积:对中间特征映射的每个通道应用1×1卷积核,得到最终的输出特征映射。

7.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:所述的T‑SORT算法引入了IoU匹配模块;所述的IoU匹配模块负责确定目标是否在隧道区域内,并在发生隧道遮挡时处理目标的轨迹,包括以下步骤:E1、标记目标的旋转边界框,具体公式如下:

At=[xt,yt,wt,ht,θt]

其中(xt,yt)为包围框的中心坐标;wt和ht分别表示包围框的宽度和高度;θt表示包围框的旋转角度;

E2、将目标A在t+1时刻表示为旋转的包围框,具体公式如下:At+1=[xt+1,yt+1,wt+1,ht+1,θt+1]E3、At和At+1之间的交并比计算公式如下:

Area(Overlap)表示物体A在时刻t和t+1的旋转边界框相交面积;Area(At)和Area(At+1)分别表示物体A在时刻t和t+1的旋转边界框面积。

8.根据权利要求1所述的一种在复杂交叉口交通参与者的无人机航拍视频轨迹数据提取方法,其特征在于:将交通参与者的轨迹数据从图像坐标系转换为高精度地图的真实坐标系,通过GPS特征点的校准来完成,包括以下步骤:G1、在图像坐标系中计算交通参与者的坐标,然后将其转换为相机坐标系;

G2、利用GPS特征点进行标定,确定变换矩阵,将交通参与者的相机坐标转换为现实世界坐标;交通参与者的轨迹数据的定义的具体公式如下:Ximg=[x1,x2,...,xt]

xt表示t时刻的图像坐标;

G3、将图像坐标用相机内参数矩阵的逆矩阵变换为相机坐标,具体公式如下:其中K表示相机的内在参数矩阵; 表示相机坐标;

G4、使用GPS特征点进行坐标校准,GPS特征点在相机坐标系中的坐标的为:G5、利用最小二乘法,求一个变换矩阵T来满足以下方程:其中 为交通参与者在时刻t的相机坐标; 为GPS特征点在相机坐标系中的坐标;T是一个3x3的变换矩阵;

G6、最后,利用变换矩阵,可以将交通参与者的相机坐标转换为现实世界的坐标,具体公式如下:G7、经过坐标变换,得到了一个多维、高精度的交通参与者的轨迹数据集:其中Xgps表示交通参与者真实世界坐标位置。