1.一种基于Canny边缘的动态视觉里程计方法,其特征在于,包括如下步骤:S1:通过图像数据构建当前帧和关键帧;
S2:对关键帧的彩色图像进行实例分割;
S3:判断是否存在潜在的高动态物体,若存在,则进入步骤S4;否则,进入步骤S5;
S4:高动态物体防漏检,然后进入步骤S5;
步骤S4中通过完成融合深度图像信息对目标检测框内的高动态物体进行像素级别的分割,以实现高动态物体防漏检,具体步骤如下:S41:对于YOLOv4高动态物体检测框内的所有像素点的深度进行统计,并将没有深度值的像素点舍弃;
S42:对于剩余的有深度的像素点按照深度值从小到大进行排序得到有序数组D,有序数组D元素个数记为k,取有序数组D子区间D′D'=[D[i],D[j]],i=k×0.25,j=k×0.35,i,j∈N+D′数组内元素个数为n,则均值m为:
则前景背景间分割的深度阈值th为:
th=m+0.25
S43:当高动态物体目标检测框内的有效像素深度值不超过th时,判断对应像素点为前景像素点即高动态物体对应的像素点,否则为背景像素点;
S5:基于图像分割的Canny边缘提取和分类;
S6:进行Canny边缘权重更新;
步骤S6中Canny权重更新采用基于实例分割结果和光度残差的静态权重更新策略对边缘点的权值进行更新,具体步骤如下:S61:对Canny边缘点进行初始权重赋值,其中为静态边缘点所赋静态权重wS大于等于
1.0,为低动态边缘点所赋权重wd小于1.0;
S62:根据彩色图转灰度图计算公式,光度残差计算公式为:Rei=0.299R′i+0.587G′i+0.114B′i‑0.299Ri+0.587Gi+0.114Bi其中,Rei表示关键帧上的非高动态边缘点成功重投影到当前帧的彩色图像上的第i个边缘点对应的残差值,Ri、Gi、Bi表示该边缘点在关键帧彩色图像上对应的三通道像素值,R′i、G′i、B′i表示该边缘点重投影到当前帧时得到的对应的三通道像素值;
S63:非高动态边缘点静态权重计算公式为:
其中,wi为对应的第i个非高动态边缘点的权重值,avg为残差值Rei组成的光度残差数组Re的均值,mad为对应的偏差值,数组Re元素个数设为h, 表示Re数组中间元素的数值,若Re数组包含奇数个元素, 表示Re数组中间元素的数值,若Re数组包含偶数个元素,则表示Re数组中间两个元素的数值的平均值,1e为科学计数法表示;
设wSi为第i个静态边缘点的权重,wdi为第i个低动态边缘点的权重,则非高动态边缘点权重进行如下更新:对于静态边缘点,其静态边缘点权重wSi仍为其静态权重wS;对于低动态边缘点,其低动态边缘点权重wdi要在自身低动态权重基础上乘以非高动态边缘点的权重值,即更新为wdi×wi;
S7:进行图像2D‑3D配准位姿估计。
2.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法,其特征在于,步骤S1中图像为RGB‑D图像。
3.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法,其特征在于,步骤S2中使用MASK R‑CNN深度神经网络对关键帧的彩色图像进行实例分割。
4.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法,其特征在于,步骤S3中判断是否存在潜在高动态物体步骤如下:S31:基于步骤S2,对关键帧的彩色图像进行实例分割,并记录当前关键帧此时检测到的高动态物体数量,记为NC;
S32:上一个关键帧对应彩色图像检测到的高动态物体数量记为NS;
S33:当NC大于或等于NS时,则认为不存在潜在的高动态物体;否则认为存在潜在的高动态物体。
5.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法,其特征在于,步骤S5中基于图像分割的Canny边缘提取和分类步骤如下:S51:针对步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果,从关键帧彩色图像中提取到Canny边缘信息;
S52:将彩色图像灰度化,彩色图转灰度图的计算公式为:
I(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)其中,R(x,y)、G(x,y)、B(x,y)分别表示彩色图像坐标(x,y)处对应的R通道,G通道和B通道的像素值,I(x,y)则为灰度图像中坐标(x,y)处对应的像素值;
S53:对灰度图执行Canny边缘检测,标记出图像中的Canny边缘点得到对应的Canny边缘二值图像;
S54:结合步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果,根据Canny边缘点落在掩膜之上的位置,将Canny边缘点标记为高动态、低动态以及静态边缘点;
当Canny边缘点落在高动态物体的掩膜之上时,将Canny边缘点标记为高动态边缘点;
当Canny边缘点落在低动态物体的掩膜之上时,将Canny边缘点标记为低动态边缘点,其余的Canny边缘点标记为静态边缘点;
S55:对于检测出来的高动态边缘点不用来进行匹配,直接将其剔除;而静态边缘点和低动态边缘点用来构建成本函数。
6.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法,其特征在于,步骤S7中基于Canny边缘的关键帧‑当前帧3D‑2D配置和位姿估计,具体步骤如下:设pi(u,v)为关键帧Canny边缘二值图像上的一个像素点坐标,结合其深度图像上对应的深度值,通过逆投影变换得到其在相机坐标系下的像素点坐标p'i,再通过投影函数将p'i投影到对应的像素平面上得到pj。当pj的坐标值超过当前帧彩色图像的成像范围时,对应的残差项被舍弃,否则关键帧上Canny边缘像素点pi(u,v)重投影到当前帧的残差ri定义如下:ri=Dj(pj)
其中,Dj函数表示根据像素点pj从当前帧对应的距离变换中查询对应的值;
当ri大于阈值Θout时,认为对应的Canny边缘点是外点,此时ri亦被舍弃,不参与成本函数的构建;成本函数公式如下:其中,s表示所有残差项的数量,wi表示非高动态边缘点的权重值,δH表示胡伯核函数,用来减轻异常残差值对非线性优化过程的影响,通过LM优化方法来最小化上述成本函数的值来求得关键帧到当前帧的最优变换估计,进而得到对当前帧的最优位姿估计,即:即为经过成本函数优化过的最优位姿估计矩阵,argmin函数表示使函数最小情况时的参数值, 表示使成本函数E最小时,对应的位姿估计矩阵,也就是最优位姿估计矩阵