1.结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,构建并训练结直肠息肉分割模型,将待分割的结直肠息肉图像输入训练好的结直肠息肉分割模型得到息肉分割图;所述结直肠息肉分割模型包括PVT特征编码器、AHA模块、SCDB模块、注意力引导解码器、MSP模块;
所述结直肠息肉分割模型的训练过程包括以下步骤:
S1.获取原始结直肠息肉图像训练数据集,其包括多组图像;每一组图像包括原始结直肠息肉图像及其对应的息肉分割图标签;
S2.将原始结直肠息肉图像输入PVT特征编码器得到4个特征,分别为F1、F2、F3、F4;
S3.将特征F2、F3、F4输入注意力引导解码器得到注意力预测特征Patt;
S4.基于注意力预测特征Patt和特征F1、F2、F3、F4,结合残差结构获取特征F1”、F2”、F3”、F4”;
S5.将特征F1”、F2”、F3”、F4”输入AHA模块,得到特征A1、A2、A3;
所述AHA模块包括3个结构相同的AHA单元,一个AHA单元的处理过程包括:S511.将特征Fi”和特征Fi+1”融合得到中间特征Ai’;其中i=1,2,3;
S512.将中间特征Ai’分别通过3×3的SC卷积、5×5的卷积以及3×3的空洞卷积,得到特征A3×3、A5×5、AD;
S513.将特征A5×5与特征AD拼接,然后经过全局平均池化、两层全连接层、Sigmoid激活函数得到第一重塑特征;
S514.将第一重塑特征分别与特征A5×5、特征AD点乘得到第一点乘特征和第二点乘特征;将第一点乘特征和第二点乘特征相加得到特征AC;
S515.将特征A3×3与特征AC逐点相加融合,然后通过ReLu激活函数、1×1卷积、Sigmoid激活函数与重塑操作处理,得到第二重塑特征;
S516.将第二重塑特征分别与特征A3×3、特征AC点乘得到第三点乘特征和第四点乘特征;将第三点乘特征和第四点乘特征相加后经过1×1卷积得到特征Ai;
S6.将特征F4”经过1×1卷积得到特征F4”’,将特征F4”’、A1、A2、A3输入SCDB模块,得到特征S1、S2、S3;
所述SCDB模块包括3个结构相同的SCDB单元,每一SCDB单元接收两个不同尺度的输入特征进行处理得到一个输出特征,具体过程包括:S61.获取特征Pt:
将尺度较小的输入特征划分为多个子块形成子块集,将子块集分别经过3个全连接层得到查询Q、键K和值V;根据查询Q、键K和值V进行自注意力操作得到自注意力特征;
将查询Q和键K相乘得到上下文信息特征;将上下文信息特征经过1个全局平均池化、2个全连接层和1个Sigmoid激活函数得到空间信息描述符;将上下文信息特征经过3×3的SC卷积和Sigmoid激活函数得到通道信息描述符;
将空间信息描述符与自注意力特征相乘后,将相乘结果与通道信息描述符再次相乘得到特征Pt;
S62.获取特征Pc:
将尺度较小的输入特征进行1×1卷积得到卷积特征,将卷积特征分别经过1×1卷积、3×3卷积和5×5卷积得到第一卷积特征、第二卷积特征和第三卷积特征;
将第一卷积特征、第二卷积特征和第三卷积特征拼接得到总拼接特征,将总拼接特征经过3×3的SC卷积、批量归一化层和ReLu激活函数得到特征Pc;
S63.将特征Pt与特征Pc点乘后进行上采样,将上采样结果与尺度较大的输入特征相乘得到输出特征;
S7.将特征F4”’、S1、S2、S3输入MSP模块得到特征图P1、P2、P3、P4,通过损失函数计算损失并反向传播训练模型参数,直至模型参数收敛。
2.根据权利要求1所述的结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,步骤S4具体包括:S41.将注意力预测特征Patt和特征F1点乘得到特征F1’,将特征F1和特征F1’相加得到特征F1”;
S42.将注意力预测特征Patt和特征F2点乘得到特征F2’,将特征F2和特征F2’相加得到特征F2”;
S43.将注意力预测特征Patt和特征F3点乘得到特征F3’,将特征F3和特征F3’相加得到特征F3”;
S44.将注意力预测特征Patt和特征F4点乘得到特征F4’,将特征F4和特征F4’相加得到特征F4”。
3.根据权利要求1所述的结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,步骤S5包括:S51.将特征F1”和特征F2”输入第一个AHA单元,得到特征A1;
S52.将特征F2”和特征F3”输入第二个AHA单元,得到特征A2;
S53.将特征F3”和特征F4”输入第三个AHA单元,得到特征A3。
4.根据权利要求1所述的结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,步骤S511具体包括:将特征Fi+1”通过3×3的SC卷积后进行上采样得到上采样特征,将上采样特征与特征Fi”相乘得到融合特征;
将融合特征通过1×1卷积和Softmax层得到第一特征;
将融合特征通过两个全连接层得到第二特征,两个全连接层间连接有一个ReLu激活函数;
将第一特征与第二特征相乘得到第三特征;将第三特征与融合特征相加得到中间特征Ai’。
5.根据权利要求1所述的结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,步骤S6具体包括:S61.将特征F4”’和特征A3输入第一个SCDB单元,得到特征S1;
S62.将特征S1和特征A2输入第二个SCDB单元,得到特征S2;
S63.将特征S2和特征A1输入第三个SCDB单元,得到特征S3。
6.根据权利要求1所述的结合混合注意力和语义互补的结直肠息肉图像分割方法,其特征在于,根据特征图P1~P4构建损失函数L,表示为L=Lmain+Lbinary
Lmain=LP1+LP2+LP3+LP4
Lbinary=Ldice(Patt,G)+Lce(Patt,G)其中,Lmain表示主损失函数,Lbinary表示中继监督损失函数;LP1表示第一层级损失函数,LP2表示第二层级损失函数,LP3表示第三层级损失函数,LP4表示第四层级损失函数;
表示带权的二分类交叉熵损失函数, 表示带权的交并比损失函数,Ldice()表示Dice系数损失函数;Lce()表示交叉熵损失函数,G表示原始结肠息肉图像对应的息肉分割图标签。