利索能及
我要发布
收藏
专利号: 2024104815908
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种煤矿单轨吊无人驾驶中自监督单目深度估计方法,其特征在于:包括以下步骤:S1、构建基于自适应特征聚合算法的深度估计网络,利用所述深度估计网络估计出输入RGB图像的深度图像;

S2、构建基于旋转量优化算法的位姿估计网络,利用所述位姿估计网络预测出相机的相对位姿关系,与S1得到的深度图像进行重建图像;

S3、构建含有图像边缘相似性损失函数的损失优化模块,利用所述损失优化模块计算重建图像与输入图像的损失误差,前向传播计算损失误差值,然后反向传播更新网络中所有权重参数,直到计算的损失获得最小值且收敛;

所述S1中以ResNet50网络作为深度估计网络编码器,将目标图像作为输入,利用ResNet50的Bottleneck卷积模块对输入图像进行5层卷积以及下采样操作,缩小特征分辨率,提取不同尺度特征即各层级特征图像,最终得到提取输出特征图像;

所述下采样过程中,各层级特征图像通道数由低到高变化分别为64、256、512、1024和

2056;

所述S1中嵌入自适应特征聚合算法的解码器网络,将解码器层级通过标准双线性插值上采样以及反卷积操作得到的特征图像与通过跳跃连接得到的上一层级编码器输出按照通道拼接,然后通过两个学习特征偏移映射分支来预测偏移量图ΔCi和ΔF′i+1,细化函数RT通过双线性插值进行细化,即通过偏移量图Δ(p)在 中的p=[x,y]位置处生成细化特征 计算公式为:其中,p表示特征图中像素点,<·>表示双线性插值操作;

两个细化特征 的公式为:

其中,R为细化函数,Fi+1为编码器各层输出特征图像;Ci为通过跳跃连接方式得到的编码器各层输出特征图像;ΔCi和ΔF′i+1为偏移量图;

最后两个细化特征进行聚合得到F″i+1,公式为:

其中, 表示直接像素叠加,将得到聚合特征F″i+1作为解码器上一层级的输入,依次重复以上4次聚合处理,最后将解码器第一层级输出特征图像用Sigmoid函数映射处理得到预测深度图像Dt;

所述S2中位姿估计网络编码器使用ResNet18结构,并在位姿编码器中使用预训练权重模型;

将预训练模型中第一个卷积核的维度进行扩展,使网络接收6通道作为输入,将扩展后的卷积核中的权重除以2,编码器网络中最终输出图像特征,其通道维数为512;

在位姿解码器第四层为多层卷积层,将所有的前3维向量进行加权融合细化得到输出,计算公式为:r=λ3R3+λ4R4+λ5R5+λ6R6+λ7R7+λ8R8..

其中,超参数λn表示权重系数,且所述超参数λn为0.4,Rn表示预测多维向量的前3维向量,下方数字表示当前路径输出的向量维度;

所述S3中图像边缘相似性损失计算步骤包括:

S31、利用Canny算子分别检测出目标图像与预测深度图像的边缘特征信息图像Fedge、Dedge;

S32、将二维的边缘信息图像转换拉伸成一维的特征向量块f(Fedge)、f(Dedge);

S33、计算这两个特征向量块的余弦相似度;

图像边缘相似性损失函数计算公式为:

Ledge=1‑cos(f(Fedge),f(Dedge))其中f()为将多维特征向量转为一维特征向量操作,cos()为计算余弦相似度操作;

总的损失函数为:

Lall=Lpe+λ1Lsmooth+λ2Lnrom+λ3Lplane+λ4LedgeLpe为光度重投影损失,Lsmooth为逐像素平滑损失函数,Lnrom为法向量损失函数,Lplane为共平面损失约束,Ledge为图像边缘相似性损失函数,且权重参数λ1,λ2,λ3和λ4分别设置为

0.001,0.05,0.1和0.04。

2.一种基于权利要求1所述的煤矿单轨吊无人驾驶中自监督单目深度估计方法的系统,其特征在于:包括基于自适应特征聚合算法的深度估计网络、基于旋转量优化算法的位姿估计网络和含有图像边缘相似性损失函数的损失优化模块;且所述深度估计网络的编码器为ResNet50网络结构,位姿估计网络编码器使用ResNet18网络结构。