1.一种基于浅层融合的多模态图像能见度检测模型的深度学习方法,其特征在于,包括如下步骤:
步骤1)利用双目摄像机采集可见光、红外图像,并通过“预处理”获取多模态能见度观测数据作为“浅层融合网络”的输入信号,建立多模态能见度观测数据训练数据集合;
步骤2)建立“浅层融合网络”,利用多模态能见度观测数据集训练网络,获取卷积神经网络权值参数;
步骤3)利用训练完毕的“浅层融合网络”对待测的多模态图像进行能见度等级的分类估计。
2.根据权利要求1所述的基于浅层融合的多模态图像能见度检测模型的深度学习方法,其特征在于:所述步骤1)的具体内容为:首先,利用“摄像机标定技术”对可见光-红外双目摄像机进行标定,获取左右两个摄像机的相机内参数矩阵K和畸变系数矩阵D,进而求取左右两个摄像机的相对位置关系,即右摄像头相对于左摄像头的平移向量t和旋转矩阵R,其具体标定计算方法如下:a.利用“棋盘图”获取摄像头畸变方面的信息,在Matlab标定工具箱中,通过reproject on images函数得到根据当前标定结果得到的反投影误差,利用Recomp.corners选项完成根据反向投影得到角点坐标、计算角点;然后,采用Calibration根据角点对左右摄像头分别进行标定,得到两个摄像头各自的内参矩阵和畸变参数向量;
b.经过双目标定得到摄像头的各项参数后,采用OpenCV库中的立体校正函数
stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q;然后,采用
initUndistortRectifyMap函数得出校准映射参数;最后,利用remap来校准输入的左右图像,获取分表率与视野均相同的输出图像;
然后,利用高通滤波器对可见光灰度图像进行“高通滤波”,获取可见光边缘特征图像,其具体滤波过程如下:
a.首先利用二维快速傅里叶变换(2D FFT)对M×N的可见光灰度图像f(m,n)进行频率域的变换,其数学公式入下:式中,f(m,n)是可见光灰度图像在m行、n列的灰度值,F(u,v)是傅里叶变换结果;
b.对上述傅里叶变换结果进行,中心相位移动;然后,设置高通截止频率,对其进行滤波;最后,将滤波后的频谱进行“傅里叶反变换”获取可见光边缘特征图像;
最后,将三种不同种类的信号,包括:3通道可见光彩色图像IRGB、3通道可见光边缘特征图像Iedge、3通道红外灰度图像IIR,组成“多模态能见度观测数据”Idata={IRGB,Iedge,IIR},并且利用上述“预处理”方法,面向对所有采集的可见光-红外图像对,制作对应的多模态能见度观测数据Idata(i),i∈[1,N],N为训练样本个数;然后,根据能见度的强弱将多模态能见度观测数据Idata(i)分成七类,其中,1为能见度最强,7为能见度最弱;对每一类的三模态图像Idata(i)={IRGB(i),Iedge(i),IIR(i)}标定种类标签Y(i),Y(i)∈[1,7];建立完成多模态能见度训练数据集合。
3.根据权利要求1所述的基于浅层融合的多模态图像能见度检测模型的深度学习方法,其特征在于:所述步骤2)的具体内容为:多模态图像“浅层融合网络”结构由三个子网络模块构成:“浅层特征叠加子网络”、“叠加特征提取子网络”、“特征表达子网络”;
“浅层特征叠加子网络”的结构由三个并行的卷积神经分支构成,三个分支的输入分别为可见光图像IRGB、可见光边缘特征图像Iedge、红外图像IIR;每个分支的结构相同,包括三层:分别是输入层(227x227x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3);输入图像IRGB、Iedge、IIR分别经过各自的分支“卷积-池化”组合操作提取浅层特征图,再将三个浅层特征图,经过“累加操作”处理,获得“多模态叠加特征图”;
“叠加特征提取子网络”结构由以下6层组成:卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3);多模态叠加特征图经过“叠加特征子网络”的两次卷积-池化组合操作,进一步将浅层局部特征图进行迭代,获取2048维的深层抽象化的局部特征图;
“融合特征表达子网络”共由5层组成:全连接层1(2048)、Dropout层1,全连接层1(2048)、Dropout层2;首先,将“叠加特征子网络”的输出2048维的深层抽象化的局部特征图,送到2048维的全连接层1完成由局部特征到整体特征的转化;然后,将获取的2048维全局特征向量,送入Dropout层1,防止训练中出现“过拟合”现象;接着,再将Dropout层1的输出送到2048维的全连接层2进行全局特征向量的表达迭代,其输出再送入Dropout层2防止训练中出现“过拟合”现象;最后,Dropout层2输出的2048维全局特征表达向量,利用softmax层进行能见度等级的分类;
浅层融合网络训练过程如下:依次将每一类的三模态训练数据(IRGB、Iedge、IIR)利用imresize函数改变为分辨率为227x227x3的图像数据;将其对应的标签Y作为训练的输出值;然后,利用“梯度下降法”求取“浅层融合网络”中的每个神经元的权重值;训练结束后,保存权重值矩阵作为“浅层融合网络”的数学模型。
4.根据权利要求1所述的基于浅层融合的多模态图像能见度检测模型的深度学习方法,其特征在于:所述步骤3)的具体内容为:根据步骤1)所述预处理内容,将待测可见光-红外图像配准成视野和分辨率均相同的图像对,利用高通滤波提取可见光边缘特征图,并且将三模态图像全部归一化为
227x227x3;然后,将三模态图像IRGB、Iedge、IIR作为“浅层融合网络”的输入信号,经过三个特征提取分支网络的后,在浅层进行特征图的叠加融合;接着,再通过两次“卷积-池化”组合处理获取深层特征图;最后,通过两组“全连接层-dropout层”处理后获得融合特征表达向量,融合后的2048维三模态联合特征送入softmax层,获取能见度的等级的概率。