利索能及
我要发布
收藏
专利号: 2024115800751
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种关键帧引导的虚拟标记动态追踪方法,其特征在于,包括:接收医生在首个彩色图像帧上标注的虚拟标记;其中所述虚拟标记采用像素级别的目标点集进行表示;

获取首个彩色图像帧上的目标点集所在的目标区域,并利用光流算法预测各个点的轨迹,获取在后多个彩色图像帧上的目标点集及其所在的目标区域,以初始化关键帧池;

针对当前彩色图像帧,遍历所述关键帧池,利用稀疏匹配方法进行相似关键帧查询,并基于查询到的相似关键帧与当前彩色图像帧之间的稀疏匹配结果,获取最佳模板;

在所述最佳模板不为空集时,基于所述最佳模板中每一相似关键帧上的目标区域,获取当前彩色图像帧上的追踪区域;

基于首个彩色图像帧上的每一所述目标区域中的目标点集,利用光流算法预测各个点的运动轨迹,获取当前彩色图像帧上的相应追踪区域上的目标点集;合并每一所述追踪区域上的目标点集,获取最终的目标点集,并作为当前彩色图像帧上的追踪标记。

2.如权利要求1所述的虚拟标记动态追踪方法,其特征在于,在获取当前彩色图像帧上的目标点集后,所述虚拟标记动态追踪方法还包括:基于预设的条件,判定当前彩色图像帧为新的关键帧时,将其放入所述关键帧池中;其中所述预设的条件包括:(1)相较于首个彩色图像帧上的所述虚拟标记,在当前彩色图像帧上获取了完整的追踪标记;

(2)获取所述最终的目标点集所在的追踪区域,该追踪区域的中心始终在当前彩色图像帧的预设范围内;

(3)若所述最佳模板中的相似关键帧大于一,距离将上一新的关键帧放入所述关键帧池,已过去超过第一预设数量的彩色图像帧;

若所述最佳模板中的相似关键帧等于一,距离将上一新的关键帧放入所述关键帧池,已过去超过第二预设数量的彩色图像帧,且所述追踪标记与虚拟标记的长度之比,与各自所在图像帧的尺度变化保持一致;

(4)未超出所述关键帧池的最大容量。

3.如权利要求1或2所述的虚拟标记动态追踪方法,其特征在于,所述初始化关键帧池;

具体包括:

采用 表示关键帧,其中j为关键帧池中的关键帧索引;

表示RGB值,W、H分别表示宽度和高度; 表示目标区域; 、 分别表示利用基于描述符的稀疏匹配方法提取的 中的特征点和特征描述; 表示目标点集;

将第0个彩色图像帧F 0指定为关键帧K0∈K,定义其上的目标点集为, 表示第s个像素点的坐标,n表示像素点的个数,表示实数集;

以 为中心的区域 由下式生成:

其中,中心点 , 为 中所有像素点的横坐标的最大值和最小值的算数平均值, 为 中所有像素点的纵坐标的最大值和最小值的算数平均值;L为目标区域的边长,L不小于 中所有像素点的横坐标和纵坐标的最大值和最小值的差;

定义目标区域 存储四个顶点和中心点 ,表示为

,其中 由 可知,表示 的四个顶点:左上,右上,左下,右下;

利用光流算法预测在后两个彩色图像帧F1和F2的运动V0→1∈ ,V0→2∈ ,并根据光流结果计算所述虚拟标记上的每个像素点 在F1和F2上的轨迹:其中,Inter(∙)表示采样过程,得到相应的目标点集 和 ,并参考公式(1),获取目标区域 和 ;

将F1、F2对应记为关键帧K1、K2,与K0一起构成初始的关键帧池P={ K0, K1, K2}。

4.如权利要求3所述的虚拟标记动态追踪方法,其特征在于,所述针对当前彩色图像帧,遍历所述关键帧池,利用稀疏匹配方法进行相似关键帧查询,并基于查询到的相似关键帧与当前彩色图像帧之间的稀疏匹配结果,获取最佳模板;具体包括:获取当前彩色图像帧Fi的特征点与特征描述;

遍历所述关键帧池中的每一个关键帧Kj,利用稀疏匹配方法获取Fi与Kj之间的匹配点;

统计Kj上目标区域的匹配点个数nji,并选取nji最大的三个关键帧作为相似关键帧Ksimi={Ka,Kb,Kc } P,采用如下公式获取最佳模板:

其中,Kj表示关键帧池中的第j个关键帧,j的取值为a、b或c;nji表示Kj上的目标区域与当前彩色图像帧Fi之间的匹配点个数;σ为第一阈值;Ksimi表示查询到的所有相似关键帧。

5.如权利要求4所述的虚拟标记动态追踪方法,其特征在于,所述基于所述最佳模板中每一相似关键帧上的目标区域,获取当前彩色图像帧上的追踪区域;具体包括:基于Kj⊆Kbest和Fi之间的匹配点,利用RANSAC估计单应性矩阵Hji,Hji的精度由 得到,nin为内点的个数;

当 ≥λ,0<λ<1,λ为第二阈值,则对目标区域 上的四个顶点 进行单应变换,得到 在Fi上的对应位置 :否则,利用邻域相似变换方法进行顶点坐标转换:

从稀疏匹配结果中提取Fi和Kj的一组匹配 ,xim∈ 和yjm∈ 是表示特征点位置的二维列向量;

搜索目标区域顶点 的N个近邻 ,获取对应的匹配点 ,以得到点 在Fi上的对应位置 :

其中 ,wt与 和 之间的距离成反比;

基于顶点坐标 ,确定一个初始区域,表示为:

其中, 、 分别表示 在Fi上的对应位置 的横坐标和纵坐标; umin、umax分别表示四个顶点的横坐标的最大值和最小值;vmin、vmax分别表示四个顶点的纵坐标的最大值和最小值;

基于所述初始区域的四个顶点的坐标,确定追踪区域 的中心点 ;

其中, 、 分别表示追踪区域 的中心点 的横坐标和纵坐标;

参考公式(1),获取当前彩色图像帧上的追踪区域 。

6.如权利要求5所述的虚拟标记动态追踪方法,其特征在于,所述基于首个彩色图像帧上的每一所述目标区域中的目标点集,利用光流算法预测各个点的运动轨迹,获取当前彩色图像帧上的相应追踪区域上的目标点集;合并每一所述追踪区域上的目标点集,获取最终的目标点集;具体包括:目标点集 中的每个点pj,s在整个帧Kj上的坐标与相对目标区域 的坐标 具有如下映射关系:光流在目标区域 和追踪区域 上进行,光流预测结果为Vj→i,所述稀疏匹配结果与光流预测结果应一致,用下式计算两者之差:若d≤γ ,γ 为第三阈值,则追踪区域 上的目标点集 中的每个点pji,s通过以下方法获得:否则, 不参与 的计算;

合并每一所述追踪区域上的目标点集 ,获取最终的目标点集 ,表示为:其中,λji为权重,且 =1,λji与nji成正比。

7.一种关键帧引导的虚拟标记动态追踪系统,其特征在于,包括:标记接收模块,用于接收医生在首个彩色图像帧上标注的虚拟标记;其中所述虚拟标记采用像素级别的目标点集进行表示;

关键帧池初始化模块,用于获取首个彩色图像帧上的目标点集所在的目标区域,并利用光流算法预测各个点的轨迹,获取在后多个彩色图像帧上的目标点集及其所在的目标区域,以初始化关键帧池;

最佳模板获取模块,用于针对当前彩色图像帧,遍历所述关键帧池,利用稀疏匹配方法进行相似关键帧查询,并基于查询到的相似关键帧与当前彩色图像帧之间的稀疏匹配结果,获取最佳模板;

区域追踪模块,用于在所述最佳模板不为空集时,基于所述最佳模板中每一相似关键帧上的目标区域,获取当前彩色图像帧上的追踪区域;

标记追踪模块,用于基于首个彩色图像帧上的每一所述目标区域中的目标点集,利用光流算法预测各个点的运动轨迹,获取当前彩色图像帧上的相应追踪区域上的目标点集;

合并每一所述追踪区域上的目标点集,获取最终的目标点集,并作为当前彩色图像帧上的追踪标记。

8.如权利要求7所述的虚拟标记动态追踪系统,其特征在于,在所述标记追踪模块获取当前彩色图像帧上的目标点集后,所述虚拟标记动态追踪系统还包括:关键帧池更新模块,用于基于预设的条件,判定当前彩色图像帧为新的关键帧时,将其放入所述关键帧池中;其中所述预设的条件包括:(1)相较于首个彩色图像帧上的所述虚拟标记,在当前彩色图像帧上获取了完整的追踪标记;

(2)获取所述最终的目标点集所在的追踪区域,该追踪区域的中心始终在当前彩色图像帧的预设范围内;

(3)若所述最佳模板中的相似关键帧大于一,距离将上一新的关键帧放入所述关键帧池,已过去超过第一预设数量的彩色图像帧;

若所述最佳模板中的相似关键帧等于一,距离将上一新的关键帧放入所述关键帧池,已过去超过第二预设数量的彩色图像帧,且所述追踪标记与虚拟标记的长度之比,与各自所在图像帧的尺度变化保持一致;

(4)未超出所述关键帧池的最大容量。

9.一种存储介质,其特征在于,其存储有用于关键帧引导的虚拟标记动态追踪的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1 6任一项所述的虚拟标记动态~追踪方法。

10.一种电子设备,其特征在于,包括:

一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1 6任一项所述的虚拟标记动态追踪方法。

~