利索能及
我要发布
收藏
专利号: 2022105825043
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于无监督的多帧内镜场景深度估计方法,其特征在于,所述方法包括:确定内镜场景图像对应的点云转换视图,并将所述点云转换视图的目标帧以及源帧进行合成,得到合成帧;

提取所述合成帧中的关键点,并根据所述关键点,确定采样像素深度;

将所述采样像素深度与所述合成帧结合,得到光度损失;

根据所述目标帧,得到交叉教学一致性损失以及自主教学一致性损失;

通过所述光度损失、所述交叉教学一致性损失、所述自主教学一致性损失以及预设边缘感知平滑性损失,得到总优化损失;

根据所述总优化损失,对无监督多帧单目训练深度估计模型进行优化训练,以使所述无监督多帧单目训练深度估计模型输出优化后的内镜场景深度图。

2.根据权利要求1所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,确定内镜场景图像对应的点云转换视图,并将所述点云转换视图的目标帧以及源帧进行合成,得到合成帧,具体包括:通过深度网络以及位姿网络,对获取的内镜场景图像每一个像素点深度进行预测,得到相对姿态图像;

对所述相对姿态图像进行点云转换,得到点云转换视图;

根据源帧视图到目标帧视图的映射框架、内镜场景的相机本身的参数、所述目标帧视图到所述源帧视图的相对姿态、所述目标帧视图的像素坐标以及所述目标帧的深度图,得到视图合成式;

根据所述源帧以及所述目标帧,得到所述合成帧。

3.根据权利要求2所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于确定内镜场景图像对应的点云转换视图,并将所述点云转换视图的目标帧以及源帧进行合成,得到合成帧之后,所述方法还包括:根据权重系数、加权损失、结构相似性项以及结构相似性项损失,得到合成帧光度损失。

4.根据权利要求1所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,在提取所述合成帧中的关键点,并根据所述关键点,确定采样像素深度之前,所述方法还包括:通过预设帧序列,构建平面扫描立体匹配代价算法;其中,所述平面扫描立体匹配代价算法为基于目标摄像机截锥上所构建的;

通过所述平面扫描立体匹配代价算法,对每个不同深度的所述源帧进行深度特征映射,得到映射特征;其中,所述映射特征包括每个候选深度、相机固有姿态以及投影到相机空间的相对姿态;

根据所述映射特征,对所述目标帧的特征映射之间距离进行平均值计算,得到最终匹配代价;

通过所述最终匹配代价以及所述映射特征,对深度网络进行深度回归。

5.根据权利要求1所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,提取所述合成帧中的关键点,并根据所述关键点,确定采样像素深度,具体包括:通过视觉里程计算法,对所述合成帧进行关键点提取,得到所述合成帧中的关键点pk;

根据c(pk;r)=F(pk)⊙F(p′k)/l,得到关键点相关量;其中,c为相关向量,r为搜索范围,F为特征图,⊙为点积分,l为特征描述符的长度,p′k为关键点pk周围像素的特征相似性;

将所述关键点相关量集成到三维网格中,并构建自相关体;

通过预设的两层卷积网络,对所述自相关体中的偏移场进行解码;

根据 得到支持域 其中, 为每个所

述关键点pk的像素, 为额外偏移场, 为2D偏移网格;

根据 得到所述采样像素深度

6.根据权利要求5所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,将所述采样像素深度与所述合成帧结合,得到光度损失,具体包括:根据深度合成式: 得到源帧视图s到目标帧视图tt→s

的支持域 其中,K为获取内镜场景的相机本身的参数,M 为目标帧视图t到源帧视图s的相对姿态, 为目标帧视图t关键点pk的像素坐标, 为所述目标帧支持域的深度图;

根据 得到所述源帧到所述目标帧的所述支持域合成帧其中,<·>为翘曲度计算操作;

t

根据 得到所述光度损失Lph;其中,I (pk)为所述目标t s→t

帧视图t的关键点,φ(I(p),I (p))为合成帧光度损失。

7.根据权利要求1所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,根据所述目标帧,得到交叉教学一致性损失以及自主教学一致性损失,具体包括:t

根据 得到交叉教学一致性损失Lct;其中,D (p)为所述目标帧的深度图, 为可丢弃深度估计网络的深度图;

根据 得到自主教学一致性损失Lst;其中,R(p)为随机掩码确定的随机掩码确定的未遮挡掩码, 为外观模拟器导出的帧与原始帧一致性变换后的特征映射。

8.根据权利要求7所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,所述外观模拟器包括:随机伽马矫正模块、色彩抖动模块以及掩蔽模块;

所述随机伽马校正模块为非线性映射模块,用于调整所述内镜场景图像的照度;

所述色彩抖动模块用于调整所述内镜场景图像的亮度抖动、饱和度抖动、色相抖动以及对比度抖动;

所述掩蔽模块用于模拟所述内镜场景图像的多个输入帧之间的遮挡,以提高所述无监督多帧单目训练深度估计模型的准确度。

9.根据权利要求1所述的一种基于无监督的多帧内镜场景深度估计方法,其特征在于,根据所述光度损失、所述交叉教学一致性损失、所述自主教学一致性损失以及预设边缘感知平滑性损失,得到总优化损失,具体包括:根据 得到所述预设边缘感知平滑性损失Les;其中,为梯t

度算子,I(p)为所述目标帧,D(p)为边缘感知深度图;

根据L=λ1Lph+λ2Lct+λ3Lst+λ4Les,得到所述总优化损失L;其中,λ为权重参数,Lph为所述光度损失,Lct为所述交叉教学一致性损失,Lst为所述自主教学一致性损失。

10.一种基于无监督的多帧内镜场景深度估计设备,其特征在于,所述设备包括:至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行根据权利要求1‑9任一项所述的一种基于无监督的多帧内镜场景深度估计方法。