利索能及
我要发布
收藏
专利号: 2018104661181
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非对称核卷积神经网络的双目视觉障碍物检测系统,其特征在于:由依次相连接的图像采集模块、立体匹配模块和障碍检测模块组成;其中所述的图像采集模块,用于采集场景中的左图像和右图像;所述的立体匹配模块对采集的图像进行处理得到对应的视差图;所述的障碍物检测模块对得到的视差图进行进一步处理,检测最终精确的障碍物区域。

2.根据权利要求1所述的非对称核卷积神经网络的双目视觉障碍物检测系统,其特征在于:所述图像采集模块采用型号为MT9V034的双目相机,水平固定,并通过USB接口将图像传输给立体匹配模块进行后续处理。

3.根据权利要求1所述的非对称核卷积神经网络的双目视觉障碍物检测系统,其特征在于:所述立体匹配模块为搭载型号NVIDIA GTX 1070的GPU的计算机。

4.一种如权利要求1-3任一项所述的非对称核卷积神经网络的双目视觉障碍物检测系统的检测方法,其特征在于,包括如下步骤:步骤1:从图像采集模块获取双目图像,并对原始图像进行预处理,消除图像中噪声;

步骤2:标定图像采集模块,获取图像采集模块的内参与畸变参数,对双目图像进行双目校正处理;

步骤3:设计一种非对称核卷积神经网络用于快速计算两个图块的相似度,使得神经网络输出为相似度得分;

步骤4:构建一种用于步骤3设计的非对称核卷积神经网络能使用的训练数据集,训练数据集包括真实视差及其对应的左右图像中的图块;

步骤5:使用步骤4构建的数据集,对神经网络进行迭代训练,获得最优参数;

步骤6:将训练良好的对对称核卷积神经网络输出相似度得分作为匹配代价,并利用十字交叉聚合的方法求取聚合区域内像素点匹配代价的平均值;

步骤7:基于赢者通吃策略择优选择视差搜索范围内视差,并用插值法对结果进行亚像素增强;

步骤8:利用点云图法对步骤7得到的视差图进行处理,检测出障碍物区域。

5.根据权利要求4所述的检测方法,其特征在于:步骤3所述的非对称核卷积神经网络结构的具体设计,特征提取网络有两个并列的非对称卷积核卷积层叠加而成,再将其结果做点积运算进行汇总并输出;每个并行特征提取分支,仅有非对称结构卷积核与传统卷积神经网络构成,无池化操作。

6.根据权利要求4所述的检测方法,其特征在于:步骤4所述的构建训练数据集具体内容是,对具有真实视差的双目数据集,根据每个像素点的真实视差值,划分在左图中对应网络输入大小的方块,和右图同等宽度且对应视差搜索范围的图像长条,并标记该点真实视差。

7.根据权利要求4所述的检测方法,其特征在于:步骤5所述的训练非对称核卷积神经网络的具体内容:在训练阶段,网络的输出采用Softmax分类器,对网络权重w最小化互熵损失函数;针对应用场景,修改互熵损失函数为:其中,

式中,j(w)表示一组样本的互熵损失;pi(di,w)表示第i个样本的概率分布;di为预测视差值; 为真实视差值;λ1,λ2,λ3为预设值;并使用卷积神经网络优化方法优化损失函数,调整网络权值w。

8.根据权利要求4所述检测方法,其特征在于:步骤6需要将非对称核卷积神经网络相似度得分转换为匹配代价;同时,由于场景图像中各区域纹理复杂度不同,需要引入自适应窗口的匹配代价聚合窗口;其中,将非对称核卷积神经网络计算的相似度得分转化为匹配代价的具体方法是:将左右图像块特征向量VL(p)和VR(p-d)作点积运算得到图像块对相似性得分S(p,d),然后,将该相似性得分取相反数作为图像对之间的匹配代价CCNN(p,d);

CCNN(p,d)=-S(p,d)=-(VL(p)·VR(p-d));

引入自适应窗口聚合单像素的匹配代价的具体方法是:

使用基于十字交叉的聚合窗口生成方法,其核心是根据相邻像素的颜色和空间位置关系构建自适应窗口;首先,对于当前待匹配像素p,在水平方向和垂直方向分别扩展其领域像素构成一个十字交叉区域,作为聚合窗口的初始骨架,分别用H(p)和V(p)表示;区域的大小由4个方向的臂长 确定,并随着图像的局部颜色信息自适应的改变;

对于左右图像中对应的匹配点pL和 利用该方法生成对应的自适应区域U(pL)和将联合公共区域作为最终支持区域:然后,求得支持区域内所有像素的匹配代价,聚合为总的匹配代价:其中,N为支持区域Ud(p)像素个数。

9.根据权利要求4所述的检测方法,其特征在于:步骤7采用赢者通吃策略在视差搜索范围内选择匹配代价最小点作为视差选择,获得视差:最后引入亚像素增强方法,增加视差的精确度。

10.根据权利要求4所述的检测方法,其特征在于:步骤8具体采用如下步骤检测障碍物区域;

1)通过视差图计算得到点云图,再通过包围盒法简化点云;

2)将简化后点云投影到地面栅格中,并统计每个投射在每个栅格中散点数目,得到实际点云密度栅格图;

3)使用无障碍场景拟合出该相机配置条件下理想点云密度栅格图;

4)通过阈值比较分割出点云密度栅格图中障碍物所在区域,有公式:上式表示,如果在栅格图中实际点云密度与理想点云密度比值大于阈值Tρ,则判断为障碍物栅格,否则不是障碍物栅格;

5)使用形态学滤波去除障碍栅格图中孤立点与连接空洞;

6)将障碍栅格图重映射回双目图像原图,标记出障碍物区域。