1.基于视觉信息的毫米波雷达检测系统,其特征在于,包括:数据采集模块包括毫米波雷达和视觉装置,所述数据采集模块收集外界数据;
数据采集平台,与数据采集模块连接,所述数据采集平台存储数据采集模块收集的外界数据;
数据检测模块,与数据采集平台电连接,所述数据检测模块内设置有目标检测方法库,所述目标检测方法库对数据采集模块收集的外界数据进行对比检测;所述目标检测方法库的建立方法包括:S1.针对特定场景采集视觉装置数据及车载毫米波雷达数据;
S2.使用关联算法匹配视觉装置数据及车载毫米波雷达数据,形成视觉装置和毫米波雷达的数据对;
S3.形成特殊场景的视觉装置数据判别方法;
S4.提取视觉装置和毫米波雷达的数据对;将毫米波雷达数据进行距离维和速度维的算法变换将毫米波雷达数据的时域的信号变换到频域,以及对毫米波雷达数据非相参积累提高信噪比;对数据对进行目标检测算法迭代,根据调整保护单元的个数、参考单元的个数、左窗保护单元以及右窗保护单元是否一致计算恒虚警门限调整参数;观察检测结果,确定特定场景的恒虚警检测参数,形成目标检测策略;
S5.对特殊场景进行编号,记录存储下确定下来的检测方法,保护单元数量,参考单元数量,门限调整因子参数,形成目标检测方法库。
2.根据权利要求1所述基于视觉信息的毫米波雷达检测系统,其特征在于,所述数据采集平台内设置有至少一个预定数据库,每个预定数据库内设置有至少一个特定场景的参考数据,所述数据采集平台将数据采集模块收集到的数据分类存储在预定的数据库内;
所述目标检测方法库内设置有至少一个特定场景的数据判别方法,所述数据判别方法对数据采集模块采集的信息以及预定数据库内设置的参考数据进行对比。
3.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,针对特定场景采集视觉装置数据及车载毫米波雷达数据的数据采集方法包括:1)准备同时搭载视觉装置及车载毫米波雷达的车辆,装备能同时采集视觉装置数据及车载毫米波雷达数据的数据采集平台;
2)选取符合特定场景的地点;
3)在特定场景下,开启采集平台,采集视觉装置数据及车载毫米波雷达数据。
4.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,所述视觉装置和毫米波雷达的数据对形成方法包括根据时间戳关联和空间关联完成摄像头数据与毫米波雷达数据的匹配;
其中,时间戳关联是毫米波雷达数据与摄像头视觉信息携带不同的时间戳,按照毫米波雷达数据协议与摄像头视觉信息协议进行转换后,设定时间阈值,两者时间差小于阈值的进行匹配关联;
空间关联是毫米波雷达目标信息与摄像头视觉信息属于不同的坐标系,需要进行坐标转换,完成空间上的匹配关联;
关联算法包括:1)雷达坐标系转换到相机坐标系R:雷达检测到的目标的距离;
α:雷达检测到的目标的角度;
H:雷达坐标系所在水平面与相机坐标系所在平面间的距离;
Zo:雷达坐标系所在的垂直面与相机坐标系所在垂直面的距离;
Xc,Yc,Zc:相机坐标系下目标检测点的坐标;
2)相机坐标系转换到图像坐标系
Xc,Yc,Zc:相机坐标系下目标检测点的坐标;
f:相机焦距;
x,y,1:图像坐标系下目标检测点坐标;
图像去畸变处理
2 2 2
其中r=x+yk1,k2,k3,p2,p1:图像畸变向量;
x′,y′:矫正后的目标检测点在图像坐标系下的坐标;
3)图像坐标系与像素坐标系
u0,v0:图像坐标系远点在像素坐标系下的坐标;
dx,dy:每个像素在横轴x,y的物理尺寸;
x′,y′:目标检测点在图像坐标系下的坐标;
u′,v′:目标检测点在像素坐标系下的坐标;
4)完成坐标系转换后,毫米波雷达数据映射到像素坐标系下,与完成时间戳关联的数据进行像素点关联,设定像素点关联阈值,当像素点坐标满足阈值要求时,进行匹配关联,若有多个视觉信息像素匹配时,选择距离最小的值作为关联对象;
|Pr‑Pc|<Pthres
Pr:毫米波雷达目标检测点在像素坐标系下坐标;
Pc:视觉信息在像素坐标系下的坐标;
||:求距离;
Pthres:关联门限。
5.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,视觉装置数据判别方法的形成方法包括:1)对采集的摄像头数据进行处理,分为测试集与验证集;
2)摄像头测试集数据经过深度学习处理,对特殊场景的数据进行标记;
3)摄像头验证集数据验证深度学习形成的神经网络的识别的准确程度;
4)形成特殊场景的摄像头数据判别方法。
6.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,将毫米波雷达数据的时域的信号变换到频域的算法是其中,N:傅里叶变换的点数,取2n;
∑:求和符号;
x(n):毫米波雷达距离维数据或速度维数据;
W:旋转因子。
7.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,门限调整因子计算算法如下:‑1/N
a=N*(Pfa ‑1)或
或
其中,α:均匀背景的门限调整因子;
N:参考单元个数;
n=N/2;
i=0,…n‑1;
λ:信噪比;
Pfa:均匀背景的虚警概率;
T:多目标检测或杂波边缘检测的门限调整因子;
Pd,SO:多目标检测的发现概率;
Pfa,SO:多目标检测的虚警概率;
Pd,GO:杂波边缘检测的发现概率;
Pfa,SO:杂波边缘检测的虚警概率。
8.基于权利要求2所述视觉信息的毫米波雷达检测系统的检测方法,其特征在于,目标检测策略库的应用的步骤如下:
1.获取毫米波雷达数据;
2.对毫米波雷达数据进行距离维和速度维的算法变换,以及非相参积累;
3.目标检测
1)对摄像头获取的视觉信息进行场景识别;
2)判断场景是否属于特殊场景,若不属于特殊场景,则按照常规的目标检测方法进行处理,若判断结果属于特殊场景,则按照特殊场景的类型,在目标检测方法库中选择对应的目标检测方法并执行;
3)输出目标检测结果;
4.针对目标检测结果进行DOA估计,距离、速度信息的解算;
5.目标输出。