利索能及
我要发布
收藏
专利号: 2020101038270
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于简化独立成分分析和局部相似性的图像立体匹配方法,其特征在于:该方法包括以下步骤:步骤一,将双目相机拍摄的立体图像对输入DispNetC网络的卷积层,提取每个像素的特征,通过计算特征相关性构建初始匹配代价卷,完成初始匹配代价计算;

步骤二,将初始匹配代价卷输入DispNetC网络的编码-解码结构,进行简化独立成分分析匹配代价聚合,定义简化独立成分分析损失函数LSICA,更新像素点的权值;

步骤三,聚合后的匹配代价卷输入解码结构的最后一层反卷积层,反卷积的结果即为视差图,构建局部相似性损失函数Ll,并结合简化独立成分分析损失函数LSICA,得到总损失函数L;具体如下:在单像素点损失函数的基础上结合区域损失函数,构建局部相似性损失函数,结合简化独立成分分析损失函数,得到总损失函数;

在立体匹配中,通过计算预测视差图和真实视差图之间的差异,将该差异作为训练损失,其中单像素点的损失函数Ls表示为:

其中N是像素数量,dn和分别是第n个像素的预测视差以及真实的视差;

采用KL散度衡量两个相邻像素之间的相似性,当像素n和其邻域像素t的真实视差相同,在训练网络时,使像素n和t的预测视差的差别越小,同时损失函数值越小越满足预期;当像素n和其邻域像素t的真实视差不同,在训练网络时,使像素n和t的预测视差的差别越大,同时损失函数越小越满足预期;根据两个相邻像素之间的相似性定义区域损失函数Lr为:

其中Dkl()表示Kullback-Leibler散度,dn和dt分别是中心像素点n和其领域像素点t的预测视差值,和分别是中心像素点n和其领域像素点t的真实视差值,m为边界参数;

在单像素点损失函数的基础上结合区域损失函数,将局部相似性损失函数定义Ll为:

其中N是像素数量,区域损失函数Lr中R(dn)代表区域内预测的视差值,代表区域内真实的视差值,n代表区域的中心像素,R(*)代表p*q的邻域,R代表p*q邻域的面积;

结合简化独立成分分析损失函数LSICA以及局部相似性损失函数Ll,将总损失函数L定义为:

其中ω和λ为权重参数,用来控制简化独立成分分析损失函数LSICA和局部相似性损失函数Ll的重要性比例,R(*)代表p*q的邻域,R代表p*q邻域的面积;

步骤四,利用真实视差图和预测视差图以及定义的总损失函数L进行网络训练,更新网络参数,通过训练完成的网络预测得到全尺寸视差图。

2.根据权利要求1所述的一种基于简化独立成分分析和局部相似性的图像立体匹配方法,其特征在于:所述步骤一,初始匹配代价计算方法如下:通过DispNetC网络的卷积层提取立体图像对的特征,得到两张图像各自的特征图;将特征输入DispNetC网络的相关层,获取其在特征空间内对应位置的关系,获得初始匹配代价;通过DispNetC网络的相关层比较两个特征图各个块的关系,即计算各块之间的相关性,公式如下:

其中c(x1,x2)表示特征图的块的相关性,f1和f2分别表示两个特征图,x1表示特征图f1中以x1为中心的一块,x2表示特征图f2中以x2为中心的一块,k为图像块大小,d为图像位移范围,即视差搜索范围;

在求取匹配代价的过程中,将立体图像对中左图设为参考图像,在范围d内进行移动,计算相关性大小,得到初始匹配代价卷。

3.根据权利要求1所述的一种基于简化独立成分分析和局部相似性的图像立体匹配方法,其特征在于:所述步骤二,将初始匹配代价卷输入DispNetC网络的编码-解码结构,将匹配代价卷堆叠成空间金字塔并结合简化独立成分分析损失函数,利用通道向量之间的相关性,完成像素点在所有视差搜索范围内与其邻域像素的重要性衡量,完成像素点的权值更新,具体如下:(1)基于简化独立成分分析的代价聚合在解码阶段完成,匹配代价卷经过解码结构的若干反卷积层,每个反卷积层得到一个反卷积结果,即每层输出一个匹配代价卷,堆叠不同层的匹配代价卷fs构成空间金字塔;对每层匹配代价卷进行上采样,上采样的匹配代价卷的大小和最后一层输出的匹配代价卷fs'的大小相同;

(2)保持fs'的通道数不变,将fs'拉平成其中Xj由WiHi个通道向量组成,Wi、Hi分别表示匹配代价卷的长、宽,dj表示上采样后匹配代价卷的层数,i表示像素点的位置,j表示第j个视差搜索范围;

(3)由拉平的Xj中得到权重矩阵Yj,Yj由通道向量的各个点的权重之和求得;

其中Wa和ba分别表示网络权重和偏置项;

(4)对权重矩阵Yj中对应位置i上的权重进行softmax规范化,得到归一化后的权重矩阵Ai,公式如下:

ai=softmax(Γ(y1,...,yi))其中ai表示归一化后像素点的权重,i表示像素点的位置,WiHi表示矩阵Ai元素个数,yi为权重矩阵Yj中的元素,表示未归一化之前位置i的像素点的权重,Γ是采用element-wisesum的融合函数,T表示矩阵转置;

(5)将权重矩阵Ai与Xj相乘,得到聚合后的向量Mi,Mi=AiXj;将完成代价聚合后的向量转换为代价卷di表示代价聚和后的代价卷层数。

4.根据权利要求3所述的一种基于简化独立成分分析和局部相似性的图像立体匹配方法,其特征在于:权重矩阵Ai由通道向量本身加权获得,考虑其他像素点的影响,结合独立成分分析损失函数,定义简化独立成分分析损失函数如下:

其中LSICA表示简化独立成分分析损失函数,I表示单位矩阵,x表示平方和函数。

5.根据权利要求1-4任一所述的一种基于简化独立成分分析和局部相似性的图像立体匹配方法,其特征在于:所述步骤四,利用BPTT算法实现网络参数更新,所述参数包括权重、偏置。