1.一种基于显著性图引导和不确定性语义增强的息肉分割方法,其特征在于,包括以下步骤:步骤S1、获取待分割的医学图像 ;
步骤S2、将图像 输入到PVT主干编码子网络中,提取出三个特征图 、 、 和一个显著性图 ;
步骤S3、将特征图 、 、 分别输入到二阶池化卷积注意力子网络SPA中得到图像、 、 ;
步骤S4、显著性图 通过不确定性语义增强子网络UAA引导特征图 得到 ,并通过逐点相加引导 得到显著性图 ;显著性图 通过不确定性语义增强子网络引导特征图得到 ,并通过逐点相加引导 得到显著性图 ;显著性图 通过不确定性语义增强子网络引导特征图 得到 ,并通过逐点相加引导 得到显著性图 ;
所述的不确定性语义增强子网络,包括:
S41.令输入的显著性图为 ,大小为 ,上采样为 的显著性图 ,令输入的特征图为 , 其大小为 ;
S42.对显著性图 计算前景图 、背景图 和不确定区域图 的表征向量,计算公式如下:;
S43.对大小为 的显著性图 、 和 做通道连接并重塑为大小的特征图 ;
S44.将特征图 经过 卷积进行特征融合,并重塑为 大小的特征图;
S45.将特征图 的与特征图 每个区域图汇总,做矩阵乘法并在通道维度拼接得到大小为 的特征图 ,汇总过程可定义为:,
,
其中 、 和 分别表示前景区域、背景区域和不确定区域特征向量, 表示矩阵乘法;
S46.将特征图 和 分别经过 卷积进行特征融合,然后做矩阵乘法得到大小为的特征图 ,以计算每个特征向量与输入特征图 中的每个像素之间的相似度,定义为:,
, , ,
其中 表示逐点卷积, 、 和 表示对应特征向量 、 、和 与输入特征图中的每个像素之间的相似度, 、 和 表示对应特征向量 、 、和 的相似度得分,;
S47.将特征向量 、 、和 经过权重矩阵与相似度得分 、 和 相乘的结果相加,然后通过 卷积得到上下文特征图 如下:,
其中 为权重矩阵;
S48.将上下文特征图 和输入特征图 相对于通道方向进行拼接,并进行逐点卷积得到大小为 的不确定性语义增强子网络输出特征图 ;
步骤S5、将显著性图 经过2倍双线性插值上采样和Sigmoid函数得到医学图像 的最终预测分割结果 。
2.如权利要求1的基于显著性图引导和不确定性语义增强的息肉分割方法,其特征在于:步骤S3中,二阶池化卷积注意力子网络SPA,包括:S31.令输入的特征图为 ,其大小为 ,其中 、 和 分别是特征图 的高度、宽度和通道数;
S32.将 通过 和 两个线性层投影成大小为 的特征 ,对于给定空间位置 ,令 表示以空间位置 为中心的大小为 的局部窗口内像素值的集合, 可定义为:;
其中 表示正方形局部窗口的边长, 表示局部窗口内像素值相对空间位置 在横坐标上的偏移量,表示局部窗口内像素值相对空间位置 在纵坐标上的偏移量,表示局部窗口内某一点的像素值;
S34.将 输入到二阶池化模块中,对 使用 卷积将通道数缩减到 ;
S35.计算两两通道相关性,得到一个具备明确物理意义的协方差矩阵 ,即第 行表示第 通道与所有通道间的统计相关性;
S36.将协方差矩阵进行逐行卷积,得到一个 的权值向量,再通过线性投影成大小为 的权值 ,对于给定空间位置 , 是大小为 的局部窗口内的权值;
S37.将 经过 操作后与 做多头自注意力操作得到局部窗口的深层特征 , 定义为:;
S38.将 经过加权平均密集聚合,得到大小为 的二阶池化卷积注意力子网络的深层特征输出 ,其中对于给定空间位置 的深层特征输出 可定义为:;
其中 表示给定空间位置 周围局部窗口内的深层特征相对该位置在横坐标上的偏移量,表示给定空间位置 周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量, 表示空间位置 上的深层特征。