利索能及
我要发布
收藏
专利号: 2021115699358
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于由下述步骤组成:(1)获取相机参数

将黑白方格相间的棋盘格标定板放于场景中的不同深度,使用阵列相机依次采集位于不同深度的标定板图像,其中阵列相机的子相机个数为N,N取值为有限的正整数,采集同一场景不同方向的图像集,提取图像集中特征点所对应的世界坐标和像素坐标,用阵列相机标定方法对相机进行标定,得到相机参数Hr,i,其中r表示参考图像,i表示除参考图像外的其它图像;

(2)预测场景视差图

采用视差生成神经网络预测场景视差图;

视差生成神经网络由块匹配模块、体内特征聚合模块、体间特征聚合模块依次串联构成,视差生成神经网络的构建方法如下:

1)构建块匹配网络

用多目立体视觉方法将参考图像与位于平面扫描体中的每个视差平面上的图像相匹配构建成块匹配网络;

2)构建体内特征聚合模块

体内特征聚合模块由编码器、注意力模块、解码器组成,编码器与解码器通过注意力模块连接构成;

3)构建体间特征聚合网络

体间特征聚合网络由两个卷积核为3、步长为1的卷积层串联构成;

4)生成场景视差图

按下式确定场景视差图F:

其中,P表示视差概率体,Y表示深度域;

(3)确定待聚焦目标的深度

随机指定阵列相机中一个相机为参考相机,将阵列相机采集一组图像通过多目立体视觉的深度学习方法得到场景视差图,按下式得聚类结果图IC:IC=Clu(F)

其中C是参数、为有限的正整数,用膨胀方法、腐蚀形态学方法去除聚类结果图中的噪声,平均目标区域的像素,按下式确定待聚焦目标的深度L:其中,Do为参考目标o的视差,Lo为参考目标的深度,D为待聚焦目标的视差;

(4)生成聚焦在深度L的合成孔径图像

按下式将相机阵列采集的第i张图像Ii投影到参考相机视角下,得到投影图像Ir,i:Ir,i=Hr,i×Ii

其中,Ii表示第i张图像,Hr,i表示第i张其它图像到参考图像r的单应性矩阵;

按下式确定投影图像Ir,i平移的视差ΔD:

其中ΔX表示相机阵列中各相机的位置关系,以待聚焦目标的深度为聚焦深度,Lt表示参考平面t所在深度,Lt取值为有限的正整数;

将投影图像Ir,i变换在深度L处,按下式确定聚焦在深度L的合成孔径图像SL:式中E是单位矩阵,θ表示零向量,N取值为有限的正整数;

完成基于深度学习视差预测的快速合成孔径聚焦成像方法。

2.根据权利要求1所述的基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于:在(2)预测场景视差图的2)构建体内特征聚合模块步骤中,所述的编码器由第一级、第二级、…、第六级编码子模块串联构成,每一级编码子模块由两层编码卷积层串联构成,编码器每级输出 如下式所示:其中,conv()表示编码卷积层。

3.根据权利要求2所述的基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于所述的编码子模块为:第一级编码子模块的两层编码卷积层的卷积核k为5,步长s为1;第二级编码子模块的两层编码卷积层的卷积核k均为5,步长s分别为2、1;其它级编码子模块的两层编码卷积层的卷积核k为3,步长s分别为2、1。

4.根据权利要求1所述的基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于:在(2)预测场景视差图的2)构建体内特征聚合模块步骤中,所述的解码器由5级解码子模块串联构成,第一级解码子模块的输入通过注意力网络与第五级编码子模块的输出相连,第二级解码子模块的输入通过注意力网络与第四级编码子模块的输出相连,第三级解码子模块的输入通过注意力网络与第三级编码子模块的输出相连、通过上下文提取模块与VGG网络的输出相连,第四级解码子模块的输入通过注意力网络与第二级编码子模块的输出相连、通过上下文提取模块与VGG网络的输出相连,第五级解码子模块的输入通过注意力网络与第一级编码子模块的输出相连、通过上下文提取模块与VGG网络的输出相连;第二级、第三级、第四级解码子模块的输出分别通过解码卷积层与第三级、第四级、第五级解码子模块的输入相连;每一级解码子模块的输出 如下式所示:其中,U()、U'()表示上采样,C()表示包含了四级池化的上下文特征提取,A()表示注意力。

5.根据权利要求4所述的基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于:所述的解码子模块由两层解码卷积层串联构成,每层解码卷积层的卷积核大小为3,步长s为1。

6.根据权利要求1所述的基于深度学习视差预测的合成孔径聚焦成像方法,其特征在于:在(3)确定待聚焦目标的深度中,随机指定阵列相机中一个相机为参考相机,将阵列相机采集一组图像通过多目立体视觉的深度学习方法得到场景视差图,按下式确定聚类结果图IC:IC=Clu(F)

其中F表示视差图,C是参数、C取值为2~10,用膨胀方法、腐蚀形态学方法去除聚类结果图中的噪声,平均目标区域的像素,按下式得到待聚焦目标的深度L:。