1.黑盒预测模型内部特征因果图的构建方法,其特征在于包含以下步骤:步骤1:搭建深度卷积神经网络CNN框架,在将场景图像映射为方向盘指令的过程中,生成场景特征图像;
步骤2:分解场景特征图像中的混合对象,利用部分对象及特征空间位置构建车辆操作指令解释图;
步骤3:对车辆操作指令解释图中的部分对象特征节点进行因果筛选;
步骤4:根据因果关系节点及其所处位置构建车辆操作指令因果图;
对于步骤1中整个CNN的构建包括三个模块:输入/输出模块、卷积模块和全连接模块;
输入模块:存放汽车摄像头所捕获的场景图像;
卷积模块:包含卷积层、池化层和RELU层;
卷积层:针对汽车摄像头所捕获的场景图像,场景图像长、宽、深度为256*256*3,将其与一个5*5*3的卷积模板进行点积运算,卷积模板的深度必须与输入图像的深度相同;生成特征图的个数取决于卷积模板的个数,二者保持相等;
原理如下:
卷积操作原理如公式(1)所示:
其中,input指的是汽车摄像头所捕获的场景图像;filter是指网络中设定的卷积模板;feature map则是汽车摄像头所捕获的图像与卷积模板进行点积操作后生成的特征图像;
池化层:设定大小为2*2且每次滑动步长为2的过滤器,对卷积层生成的特征图像进行特征压缩,即在特征图的每一个子区域中寻找最大值,并且只保留最大值特征;
RELU层:将上一层的输出特征送入激活函数f(x)=max(0,x)中,x则表示池化层的输出特征,目的是在神经网络进行反向传播的时候消除梯度爆炸;
全连接模块:该模块设定1024个神经元,将最后一个卷积模块生成的数据送入全连接层,进行加权操作;
输出模块:设定16个神经元,对应16个汽车方向盘的转动方向,与上一层的特征向量进行加权和softmax操作,生成16个概率,概率总和为1;其中,概率最大的神经元对应的汽车方向盘转动方向即为最终预测结果;
根据卷积层生成的特征图像,结合神经网络空间结构建立特征解释图,具体方式为:将一个特征图像视为一个顶点,同一卷积层生成的特征图像视作特征解释图的同一层顶点,顶点之间构建边,边的方向等同于神经网络的传播方向;
对于步骤2中分解特征图像中的混合对象,利用部分对象及神经网络空间结构建立特征解释图的具体说明如下:
在自动驾驶过程中,场景特征图是根据步骤1所产生的,但场景特征图通常包含的都是混合对象模式,即一张场景特征图中既包括指示灯又包括部分对象;因此,先将最后一个卷积层的特征图中的混合对象模式分解开,形成多个单一的部分对象特征,再自顶向下地寻找前一个卷积层所生成的特征图中的部分对象;在这过程中,将每个部分对象特征视为一个顶点,同一卷积层的部分对象特征视作特征解释图的同一层顶点,顶点之间构建边,边的方向等同于神经网络的传播方向;
解释图的构建步骤如下:
Step1:从层次最深的卷积层开始分解混合特征图中的部分对象模式,建立图的顶层GL;
Step2:通过顶层的模式/节点进一步分解相邻低卷积层的部分对象模式,构建GL‑1;
Step3:不断迭代,直至第一个卷积层的部分对象模式被分解,构建G1;
Step4:通过全连接相邻层的顶点构建特征解释图的边,方向为G1→GL;
关于步骤3中的对解释图中的部分对象特征节点进行因果筛选的详细说明如下:步骤3‑1:将部分对象特征图用矩阵M表示,矩阵M中的元素值mpq为部分对象特征图中对应位置的像素值;
步骤3‑2:将特征矩阵M通过函数 映射到实数空间,转换原理如公式(2)所示:其中,Mii表示第i层的第j个部分对象的特征矩阵;矩阵大小为P×Q,矩阵Mij中的某个元素记为 表示矩阵Mij中元素的平均值;rij表示矩阵Mij经过函数 映射所得的实数值;k表示某一层部分特征对象的数量;
步骤3‑3:利用非线性最小二乘法拟合相邻层部分对象特征间的函数f,构建形如公式(3)所示的等式:
其中,fij(·)表示第i层的第j个部分对象特征数与第i‑1层的所有部分对象特征数间的函数关系; 表示第i‑1层的所有部分对象特征数;Eij表示噪音项;
步骤3‑4:利用加性噪音模型判定相邻层节点间的因果方向是否与特征所处网络中的空间位置方向相矛盾,若矛盾,则删除原有边,若该节点与前一层的所有节点均无因果关系,则删除该节点;判定因果关系的算法如下:算法:
其中,gij(·)和Eij′分别是使 等式成立的函数和噪音项;由到 实质上是等式变形的过程,目的是为得到进行逆向操作后的噪音项Eij′的分布类型;Cij为输出数值,若Cij=0,表示第i层的第j个部分对象与前一层的部分对象特征无因果关系,反之,则存在因果关系。