利索能及
我要发布
收藏
专利号: 2021103213103
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种手术流程识别方法,其特征在于,所述方法包括:

获取手术视频中的第一图像;

将所述第一图像输入第一空间信息提取子模型,输出所述第一图像对应的第一空间信息,所述第一空间信息提取子模型为第一深度学习模型包括的一个子模型,所述第一空间信息用于表征所述第一图像的语义特征;

将所述第一图像对应的第一空间信息和历史阶段信息输入第一分类子模型,输出所述第一图像所属的目标手术主阶段,所述第一分类子模型为所述第一深度学习模型包括的一个子模型,所述第一深度学习模型包括所述第一空间信息提取子模型与所述第一分类子模型串联而成的一个分支;或者,将所述第一图像对应的第一空间信息输入第一时序信息提取子模型,通过所述第一时序信息提取子模型对所述第一图像对应的第一空间信息和第一历史图像对应的空间信息进行处理,输出所述第一图像对应的第一时序信息,将所述第一图像对应的第一时序信息和历史阶段信息输入所述第一分类子模型,输出所述第一图像所属的目标手术主阶段,所述第一时序信息提取子模型为所述第一深度学习模型包括的一个子模型,所述第一深度学习模型包括所述第一空间信息提取子模型、所述第一时序信息提取子模型与所述第一分类子模型串联而成的一个分支;

其中,所述第一历史图像包括所述手术视频中在所述第一图像之前的图像,所述第一历史图像对应的空间信息基于所述第一空间信息提取子模型得到,所述第一时序信息用于表征从所述第一历史图像到所述第一图像的空间信息变化情况,所述目标手术主阶段为手术过程涉及的多个主阶段中的一个,所述历史阶段信息用于表征在采集所述第一图像之前经历的手术阶段;

在确定所述目标手术主阶段之后,根据所述第一图像对应的器械存在信息,确定所述第一图像所属的手术子阶段,所述器械存在信息用于表征所述第一图像中存在的器械,所述手术子阶段为所述目标手术主阶段包括的子阶段中的一个。

2.根据权利要求1所述的方法,其特征在于,所述多个主阶段中至少一个主阶段包括子阶段,任一子阶段具有对应的器械;

所述多个主阶段包括观察搜索阶段、术野暴露分离阶段、手术主体阶段、标本取出阶段、冲洗与引流阶段、关闭套管口阶段;

其中,所述手术主体阶段包括切除子阶段、结扎子阶段、吻合与钉合子阶段、缝合子阶段;

所述切除子阶段对应的器械包括电刀类工具,所述结扎子阶段对应的器械包括血管夹和纱条类工具,所述吻合与钉合子阶段对应的器械包括疝钉类工具,所述缝合子阶段对应的器械包括缝合针和缝合线。

3.根据权利要求1所述的方法,其特征在于,将所述历史阶段信息输入所述第一分类子模型之前,还包括:将所述第一图像对应的第一空间信息输入第二分类子模型,通过所述第二分类子模型包括的全连接层输出所述第一图像对应的历史阶段信息,所述第二分类子模型为所述第一深度学习模型的一个子模型,所述第一深度学习模型还包括所述第一空间信息提取子模型与所述第二分类子模型串联而成的一个分支。

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像对应的器械存在信息,确定所述第一图像所属的手术子阶段之前,还包括:将所述第一图像输入第二空间信息提取子模型,输出所述第一图像对应的第二空间信息,所述第二空间信息提取子模型为第二深度学习模型的一个子模型;

所述根据所述第一图像对应的器械存在信息,确定所述第一图像所属的手术子阶段,包括:

将所述第一图像对应的第二空间信息和器械存在信息输入第三分类子模型,输出所述第一图像所属的手术子阶段,所述第三分类子模型为所述第二深度学习模型包括的一个子模型,所述第二深度学习模型包括所述第二空间信息提取子模型与所述第三分类子模型串联而成的一个分支;或者,将所述第一图像对应的第二空间信息输入第二时序信息提取子模型,通过所述第二时序信息提取子模型对所述第一图像对应的第二空间信息和第二历史图像对应的空间信息进行处理,输出所述第一图像对应的第二时序信息,将所述第一图像对应的第二时序信息和器械存在信息输入所述第三分类子模型,输出所述第一图像所属的手术子阶段,所述第二时序信息提取子模型为所述第二深度学习模型包括的一个子模型,所述第二深度学习模型包括所述第二空间信息提取子模型、所述第二时序信息提取子模型与所述第三分类子模型串联而成的一个分支;

其中,所述第二历史图像包括所述手术视频中在所述第一图像之前的图像,所述第二历史图像对应的空间信息基于所述第二空间信息提取子模型得到。

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一图像对应的器械存在信息,确定所述第一图像所属的手术子阶段之前,还包括:将所述第一图像对应的第二空间信息输入第四分类子模型,通过所述第四分类子模型包括的全连接层输出所述第一图像对应的器械存在信息,所述第四分类子模型为所述第二深度学习模型的一个子模型,所述第二深度学习模型还包括所述第一空间信息提取子模型与所述第四分类子模型串联而成的一个分支。

6.根据权利要求4所述的方法,其特征在于,所述第一历史图像基于第一采样步长从所述手术视频中在所述第一图像之前的视频段中采样得到,所述第二历史图像基于第二采样步长从所述手术视频中在所述第一图像之前的视频段中采样得到,所述第一采样步长大于所述第二采样步长。

7.一种手术流程识别装置,其特征在于,所述装置包括:

获取模块,用于获取手术视频中的第一图像;

第一确定模块,用于根据所述第一图像对应的第一空间信息和历史阶段信息,确定所述第一图像所属的目标手术主阶段,所述目标手术主阶段为手术过程涉及的多个主阶段中的一个,所述历史阶段信息用于表征在采集所述第一图像之前经历的手术阶段,所述第一空间信息用于表征所述第一图像的语义特征;

第二确定模块,用于根据所述第一图像对应的器械存在信息,确定所述第一图像所属的手术子阶段,所述器械存在信息用于表征所述第一图像中存在的器械,所述手术子阶段为所述目标手术主阶段包括的子阶段中的一个;

所述装置还包括:

第一提取模块,用于将所述第一图像输入第一空间信息提取子模型,输出所述第一图像对应的第一空间信息,所述第一空间信息提取子模型为第一深度学习模型包括的一个子模型;

其中,所述第一确定模块包括第一分类子模块,或者,所述第一确定模块包括第一提取子模块和第二分类子模块;

所述第一分类子模块,用于将所述第一图像对应的第一空间信息和历史阶段信息输入第一分类子模型,输出所述第一图像所属的目标手术主阶段,所述第一分类子模型为所述第一深度学习模型包括的一个子模型,所述第一深度学习模型包括所述第一空间信息提取子模型与所述第一分类子模型串联而成的一个分支;

所述第一提取子模块,用于将所述第一图像对应的第一空间信息输入第一时序信息提取子模型,通过所述第一时序信息提取子模型对所述第一图像对应的第一空间信息和第一历史图像对应的空间信息进行处理,输出所述第一图像对应的第一时序信息,所述第一时序信息提取子模型为所述第一深度学习模型包括的一个子模型,所述第一历史图像包括所述手术视频中在所述第一图像之前的图像,所述第一历史图像对应的空间信息基于所述第一空间信息提取子模型得到,所述第一时序信息用于表征从所述第一历史图像到所述第一图像的空间信息变化情况;

所述第二分类子模块,用于将所述第一图像对应的第一时序信息和历史阶段信息输入所述第一分类子模型,输出所述第一图像所属的目标手术主阶段,所述第一深度学习模型包括所述第一空间信息提取子模型、所述第一时序信息提取子模型与所述第一分类子模型串联而成的一个分支。

8.根据权利要求7所述的装置,其特征在于,所述多个主阶段中至少一个主阶段包括子阶段,任一子阶段具有对应的器械;

所述多个主阶段包括观察搜索阶段、术野暴露分离阶段、手术主体阶段、标本取出阶段、冲洗与引流阶段、关闭套管口阶段;

其中,所述手术主体阶段包括切除子阶段、结扎子阶段、吻合与钉合子阶段、缝合子阶段;

所述切除子阶段对应的器械包括电刀类工具,所述结扎子阶段对应的器械包括血管夹和纱条类工具,所述吻合与钉合子阶段对应的器械包括疝钉类工具,所述缝合子阶段对应的器械包括缝合针和缝合线。

9.一种内窥镜系统,其特征在于,所述内窥镜系统包括内窥镜、摄像系统主机、显示装置和存储装置;

所述内窥镜用于采集图像,将所述图像发送给所述摄像系统主机;

所述摄像系统主机用于执行权利要求1‑6任一所述方法的步骤,以识别出所述图像所属的手术阶段,所述摄像系统主机还用于对所述图像进行处理,将处理后的图像和识别出的手术阶段的阶段信息发送给所述显示装置和所述存储装置;

所述显示装置用于接收所述处理后的图像和所述阶段信息,将所述处理后的图像和所述阶段信息显示在所述显示装置上;

所述存储装置用于接收所述处理后的图像和所述阶段信息,将接收到的图像形成手术视频,存储带有所述阶段信息的手术视频,以供回放。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述权利要求1至权利要求6中的任一项所述的方法的步骤。