1.一种基于雷达和图像数据融合检测的防御方法,其特征在于:包括以下步骤:S1,在自动驾驶正常运行过程中,对摄像机进行致盲攻击;
S2,自动驾驶的离线平台对数据进行采集,并进行攻击检测;
S3,经过主系统确认存在攻击,自动驾驶的离线平台重新进行training部署;
S4,自动驾驶的在线平台,利用新的防御模型进行目标检测,从而达到防御效果;
所述S1具体包括:
S1.1,在自动驾驶正常运行过程中,会利用车载传感器收集相关数据;仿真实验利用nuScenes数据集进行实验,使用nuScenes数据集中的v1.0‑mini数据集中的5个毫米波雷达数据和6个摄像机图像数据;
S1.2,利用LED灯对摄像机进行攻击;仿真实验利用Python程序在6个摄像机图像数据上添加光斑;
所述S1.2具体包括:
S1.2.1,自行设置光斑半径与图像最短边长之比、光斑中心大小和亮度;
S1.2.2,遍历摄像机图像数据,利用随机函数在每个图像上随机添加光斑进行攻击,生成被攻击后的摄像机图像数据集;
所述S2具体包括:
S2.1,利用SVM分类算法,对新采集图像数据和原始数据进行攻击检测,发现分类错误,则给主系统发送错误信号;仿真实验中新采集的图像数据为攻击后的摄像机图像数据集;
S2.2,未发现分类错误,则给主系统发送正常驾驶信号,无需进行后续步骤;
所述S3具体包括:
S3.1,离线平台提高雷达数据在数据融合神经网络模型训练中的比重;
S3.2,利用被攻击后的图像数据和雷达数据重新进行模型训练,从而提高目标检测分类精度;
所述S3.1具体包括:
S3.1.1,未受到攻击时,雷达数据预处理,将多周期的雷达数据从二维点云数据映射到图像垂直平面,雷达数据包括方位角,距离,雷达高度均设置为3米;雷达回波的特征作为像素值存储在增强图像中;在没有雷达回波的图像像素位置,投影的雷达通道值被设置为0值;
S3.1.2,检测受到攻击时,将雷达回波的特征扩大5倍作为像素值存储在增强图像中;
在没有雷达回波的图像像素位置,投影的雷达通道值被设置为0值;
所述S3.2具体包括:
S3.2.1,神经网络的输入为相机图像的三个通道(红、绿、蓝)和雷达通道组成的四维通道,输出为目标检测盒的二维回归坐标和检测盒的分类分数;
S3.2.2,深度学习神经网络采用以VGG16的卷积块作为主要处理单元,通过max‑pooling以相应比例处理输入;
S3.2.3,在每层均进行融合处理,深层网络增加特征金字塔(FPN)产生分类和回归结果,通过不断训练优化损失,最终使得模型达到稳定状态;
S3.2.4,保存训练好的新的防御模型。
2.实施权利要求1所述的一种基于雷达和图像数据融合检测的防御方法的系统,其特征在于,包括以下模块:攻击检测模块、training重部署模块、目标检测模块;
所述攻击检测模块,利用SVM分类算法,对新采集图像数据和原始数据进行攻击检测,发现分类错误,离线平台给主系统发送错误通知;未发现分类错误,正常驾驶,无需进行后续步骤;
所述training重部署模块,用于自动驾驶的离线平台重新进行training部署,保存新的防御模型;
所述目标检测模块,自动驾驶在线平台载入所述training重部署模块保存的模型,重新进行自动驾驶;
所述攻击检测模块、training重部署模块、目标检测模块依次连接。