利索能及
我要发布
收藏
专利号: 2021110335529
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于,包括以下步骤:S1,使用K‑means聚类法,将RGB‑D相机采集到的图像分为24个簇;

S2,将聚类后的边缘图与灰度图分别坐标变换到关键帧及其DT图上,分别得到光度及几何一致性残差、边缘对齐残差和补偿残差;

S3,将所述光度及几何一致性残差和边缘对齐残差进行数据融合,构建基于边缘信息的聚类残差模型;

S4,引入平均背景深度进行运动分割,基于步骤S3构建的模型引入平均背景深度构建引入平均背景深度聚类残差模型;

S5,计算步骤S2中的补偿残差;

S6,将步骤S2中的补偿残差和S5构建的残差模型与面元3D重建算法结合,得到加权聚类残差;

根据聚类残差分布的普遍特征,通过使用面元3D重建算法分离高动态簇和静态簇,伪代码如下:算法中, 为当前帧像素/面元i生存能力,其取值范围为[0,1]对其使用如下的对数几率函数后,可将其取值范围转化为(‑∞,+∞), 由静态概率 和两个新定义的变量 和vD决定,定义如下:c i

式中,x为图片中心所处位置,x为像素/面元i所处位置,σγ表示面元的放缩系数;

通过面元3D算法构建场景分割模型,残差高于残差平均值的簇判定为动态部分,低于阈值的簇作为静态部分或赋权部分加入到位姿估算中,具体公式如下:式中,表示阈值分界点,超过该值则考虑动态簇,rmin表示最小残差值,r表示平均残差值,在初始化过程中设置得较低,确保初试的地图中只含有经典部分,N为簇总数量;

S7,将步骤S6得到的加权聚类残差加入优化函数中进行位姿估算,并将得到的位姿进行跟踪质量检查,更新下次迭代的变换矩阵或关键帧。

2.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述K‑means聚类法,通过计算每一个三维空间点距离簇中心点的距离,来确定该空间点属于哪一个簇。

3.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述步骤S2包括:

S21:将聚类后的当前帧Fc坐标变换到关键帧Fk,根据光度及几何一致性构建残差模型,计算光度及几何一致性误差;

S22:将聚类后的边缘图坐标变换到关键帧的DT图,得到基于边缘对齐的残差模型,计算边缘对齐误差。

4.根据权利要求3所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述构建的光度及几何一致性残差模型为:

p

式中, 和 分别表示点p对应的光度误差与深度误差,x为当前帧的第p个像素点,M表示关键帧,D表示当前帧,I为光度图,Z为深度图,T(ξ)表示变换矩阵,|·|Z表示三维坐标‑1点的Z坐标值,ξ为当前帧到关键帧坐标变换的李代数,π 为逆投影函数,ω为坐标变换函数;

所述边缘对齐残差模型具体公式如下:

式中, 表示对齐残差, 表示边缘点p对应的DT误差,DTM表示关键帧的DT误差函数。

5.根据权利要求1‑4任一项所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S3所述基于边缘信息的聚类残差模型,具体公式如下:式中,rn表示第n个簇的残差值, 分别表示点i对应的光度误差、深度误差和DT误差,αI表示缩放强度,αE表示DT误差在残差模型中所占权重,On表示第n个簇中遮挡的像素个数,En表示第n个簇中所有深度有效的边缘点,F(·)表示Cauchy函数,G表示图像中深度有效点的数量,S(b)表示动态残差集合,bi(p)表示p点所在i簇的得分, 分别表示根据噪声对光度和几何残差加权的权重。

6.根据权利要求5所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述DT误差在残差模型中所占权重αE的公式如下:

式中,vc为相机运动速度,N为簇总数量,μ为由αI到αE的尺度系数,Sn表示第n个簇中所有深度有效的像素个数,En表示第n个簇中所有深度有效的边缘点。

7.根据权利要求6所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S4所述构建引入平均背景深度聚类残差模型,具体包括:S41:定义平均背景深度公式为:

式中, 表示当前帧的平均背景深度, 表示上一帧的平均背景深度,dc‑1为上一帧分割出的动态簇数量, 表示第n个簇的平均背景深度,λD表示深度图的权重;

S42:根据S41构建的公式构建引入平均背景深度后的残差模型为:式中,δn为引入平均背景深度后的第n个簇的残差值, 表示第n个簇与背景的距离,rn表示引入平均深度之前第n个簇的残差值。

8.根据权利要求7所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S5所述补偿残差S(b)分为SD(b)、SR(b)和SP(b)三项,其中SD(b)是量化后的高残差,SR(b)是一个正则化项,SP(b)是一个几何约束项,惩罚较大的平均深度差,具体公式如下:S(b)=SD(b)+SR(b)+SP(b)

式中,Ki表示簇i中的像素个数,E(rn)表示正则后的数值,Gij为聚类连通函数,为1表示i与j簇连通,bi和bj分别表示当前帧中i簇与j簇的残差,λR表示连通函数的权重,λP表示几何约束项的权重, 表示p点所在i簇的残差, 表示Cauchy函数阈值的高低边界。

9.根据权利要求8所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述步骤S7具体包括:

S71:采用Cauchy M‑estimator模型,通过加权聚类残差来构建非线性优化函数,用来准确的估计帧间运动,具体公式如下:式中,M表示所有深度有效的点的数量, 表示属于第n个簇的点i的权重,c表示F的插入点,r表示对r点进行Cauchy代价评估;

通过最小化非线性优化函数求得最佳的帧间运动;

S72:采用边缘信息来评估跟踪质量,将跟踪过W帧的边缘投影到当前帧中,得到像素点重叠计数图,通过对相同重叠数构建直方图,来获取图像重叠情况,具体公式如下:式中H(j)表示重叠数为j的点的数量,γj表示重叠数为j的点在跟踪质量评估中所占的权重,H(0)表示没有重叠的点的数量,γ0表示没有重叠的点在跟踪质量评估中所占的权重。