1.一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述方法步骤包括:
获取暗视觉/低照度图像,并对所述取暗视觉/低照度图像进行预处理;
将暗视觉/低照度图像输入到预训练后的初级子网中进行边缘检测,提取出多个边缘特征图,并经过上采样后形成第一边缘特征;
将所述暗视觉/低照度图像与对应的所述第一边缘特征输入到边缘增强模块中,对所述暗视觉/低照度图像边缘增强;
将边缘增强后的暗视觉/低照度图像输入到次级子网中进行边缘检测,提取出多个边缘特征图;
将初次子网产生的第一边缘特征和多个边缘特征图与次级子网产生的多个边缘特征图进行特征图融合,得到暗视觉/低照度图像的边缘检测效果。
2.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述将暗视觉/低照度图像输入到预训练后的初级子网中进行边缘检测,提取出多个边缘特征图,并经过上采样后形成第一边缘特征包括在所述初级子网中,ι1个初级特征提取模块和ι2个复合特征提取模块产生ι1+ι2个边缘特征,将ι1+ι2个边缘特征输入自适应边缘尺度提取模块,提取边缘特征的自适应边缘尺度,并融合尺度和边缘特征,得到ι1+ι2个边缘特征图,对ι1+ι2个边缘特征图上采样后,按照通道拼接输入深度特征融合模块,得到第一边缘特征。
3.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述将边缘增强后的暗视觉/低照度图像输入到次级子网中进行边缘检测,提取出多个边缘特征图包括在所述次级子网中,ι3个复合特征提取模块产生ι3个边缘特征,将ι3个边缘特征输入自适应边缘尺度提取模块,提取边缘特征的自适应边缘尺度,并融合尺度和边缘特征,得到ι3个边缘特征图。
4.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述将初次子网产生的第一边缘特征和多个边缘特征图与次级子网产生的多个边缘特征图进行特征图融合,得到暗视觉/低照度图像的边缘检测效果包括在所述初级子网中,ι1个初级特征提取模块和ι2个复合特征提取模块产生ι1+ι2个边缘特征,将ι1+ι2个边缘特征输入自适应边缘尺度提取模块,提取边缘特征的自适应边缘尺度,并融合尺度和边缘特征,得到ι1+ι2个边缘特征图,对ι1+ι2个边缘特征图上采样后,按照通道拼接输入深度特征融合模块,得到第一边缘特征;在所述次级子网中,ι3个复合特征提取模块产生ι3个边缘特征,将ι3个边缘特征输入自适应边缘尺度提取模块,提取边缘特征的自适应边缘尺度,并融合尺度和边缘特征,得到ι3个边缘特征图;将初级子网产生的ι1+ι2个边缘特征图以及第一边缘特征,以及次级子网产生的ι3个边缘特征图,也即ι1+ι2+1+ι3个边缘特征图上采样的结果,按通道拼接后,输入次级子网的深度特征融合模块,得到深度边缘特征;基于边缘损失函数分别计算ι1+ι2+1+ι3个边缘特征图和所述深度边缘特征与边缘label之间的边缘损失;当所述边缘损失收敛时,次级子网的深度特征融合模块的输出为最终的边缘检测结果。
5.根据权利要求2‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述复合特征提取模块由全局特征提取网络和局部特征提取网络组成,所述局部特征提取网络的输入以残差的形式映射到当前复合特征提取模块的尾部,或者其他复合特征提取模块的尾部和输出相加;所述全局特征提取网络的输出以残差的形式映射到所述局部特征提取网络内部的不同位置,分别和所述局部特征提取网络的多个中间输入相加;基于所述全局特征提取网络提取输入特征图的全局特征,基于所述局部特征提取网络提取输入特征图的局部特征,所述局部特征提取网络由ι4个卷积层组成,其中ι4是正整数,所述全局特征提取网络由ι5个空间自注意力层组成,其中ι5是正整数。
6.根据权利要求2‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述自适应边缘尺度提取模块由ι6个通道自注意力层组成,用于提取任意边缘特征所对应的边缘尺度,融合所述边缘尺度和对应的边缘特征,得到边缘特征图;其中ι6为正整数。
7.根据权利要求2‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,所述深度特征融合模块由ι7个卷积层组成,用于将输入的多尺度边缘特征图整合成深度边缘特征,其中ι7是正整数。
8.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,边缘增强模块对所述暗视觉/低照度图像边缘增强的过程包括:利用梯度算子提取出暗视觉/低照度图像沿水平方向和垂直方向的梯度图;
利用梯度算子提取出第一边缘特征沿水平方向和垂直方向的梯度图;
基于对应方向的梯度图分别计算出第一边缘特征和暗视觉/低照度图像像素之间的相似度,得到相似度矩阵;
将相似度矩阵和暗视觉/低照度图像逐像素相乘,得到增强边缘后的暗视觉/低照度图像。
9.根据权利要求8所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,基于对应方向的梯度图分别计算出第一边缘特征和暗视觉/低照度图像像素之间的相似度,得到相似度矩阵包括:Similarity(X1,X2)=1‑Fnorm(Distance(X1,X2))
其中,Distance(·)为像素的欧式距离,X1和X2表示计算相似度的两个像素,x表示像素沿水平方向的梯度,y表示像素沿垂直方向的梯度,Similarity(X1,X2)表示像素X1和X2的相似度,Fnorm表示归一化。
10.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法,其特征在于,将预训练后的初级子网、边缘增强模块串联在一起,组成一个完整的暗视觉及低照度边缘检测网络,计算出每个单尺度边缘特征和边缘标签之间的Dice相似度,将该Dice相似度作为自适应参数构建出加权交叉熵损失,直至所述加权交叉熵损失收敛,完成对暗视觉及低照度边缘检测网络的训练。