1.一种融合卷积与多层感知机神经网络的结直肠息肉分割方法,其特征在于,包括以下步骤:
1)收集多种类型内窥镜下结直肠息肉图像,并进行图像增强,组成训练样本;
2)构建包含卷积与多层感知机的神经网络,其中包含卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块;
步骤2)中卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块的构建具体过程如下:步骤2.1)构建卷积与多层感知机编码器:先构建一个纯卷积层,包含一个1×1卷积、3×3卷积、1×1卷积,重复序列;再构建卷积与多层感知机混合层,依次包含通道感知机、3×
3深度可分离卷积、通道感知机,分别重复序列,以此构成3个卷积、感知机混合层;
步骤2.2)构建平行自注意力模块:平行自注意力模块包含通道注意力分支和空间注意力分支,其中通道注意力分支描述为ch
Att (X)=Mz(σ1(Mv(X))×δ(σ2(Mq(X))))是实数域,Mv,Mq和Mz是1×1卷积,σ1,σ2是整形操作,δ是sofmax操作;最后通道注意力分支的输出是 ⊙是Hadamard乘积;再构建空间注意力分支:C表示卷积通道数,H表示特征图的高度,W表示特征图的宽度;σ1,σ2和σ3为整形操作,Mv,Mq是1×1卷积,ρ是全局平均池化操作,δ是sofmax操作;空间注意力分支的最终输出是最后整个模块输出是步骤2.3)构建级联语义特征聚合模块:先将高级特征H3和H2进行矩阵相乘后和低级特征L1进行通道相加,同时高级特征H1和低级特征L1进行矩阵相乘后将和高级特征H3和H2融合后的结果进行通道相加;最后经过3×3和1×1卷积操作将通道维度降低;最后模块的输出为G:G=M1M3(Concat(M3M3(Concat(M3(H3)×M3(H2))M3(H1))(M3(L1)×M3(H1))))M1是1×1卷积,M3是3×3卷积,Concat是通道相加操作;
步骤2.4)构建通道引导分组逆向注意力模块:首先来自级联语义特征聚合模块的全局特征图通过sigmoid操作形成一个显著性特征图;然后通过逆向注意力操作得到反向注意力引导图R:R=φ[σ(μ(S)),E]
‑x
μ是双线性插值操作,σ(x)=1/(1+e )是sigmoid函数,φ是逆向注意力操作,E是全1矩阵;
然后高级特征H1,H2,H3会在通道维度被分成多个组;这个过程可以描述为:s
F(Hi)={Hi,1,...,Hi,m}
然后将反向注意力引导图R循环插入到各个分组中,这个过程可以描述为:c
Yi=F({Hi,1,R}...,{Hi,m,R})s c
其中i表示高级特征的序号,与分组通道数m一一对应;F代表通道分离操作,F代表通道相加;最后通过Hi和Yi得到最后模块的输出图;
3)利用训练样本训练所述神经网络,优化网络参数,确定网络参数后与神经网络共同组成模型;
4)应用时,采集内窥镜下结直肠图像,并输入至模型中,经计算输出结直肠息肉分割图像。
2.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法,其特征在于,步骤1)具体过程如下:步骤1.1)收集内窥镜下结直肠息肉图像数据集;
步骤1.2)通过线性插值方法对图像分辨率进行调整,并将数据集分为训练数据和测试数据两部分;
步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75~1.25倍随机多尺度放大缩小和0~360度随机旋转。
3.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法,其特征在于,步骤3)具体过程如下:步骤3.1)构建融合多种注意力机制神经网络的结直肠息肉分割模型,采用Adam权重递减优化器结合多项式学习率递减策略进行优化,设置初始学习率,网络的损失函数 设置为:其中,i表示每一个在图像中的像素,y表示息肉标签图像,表示网络预测输出图像;
步骤3.2)微调模型,通过加载训练模型中精度最高的模型,然后用测试集中的图像对模型性能进行验证,得到息肉分割图像结果;
步骤3.3)测试训练后模型的分割性能,使用测试集验证训练后模型的分割效果;通过和原始的标签图进行对比,从主观视觉效果及客观评价指标上对模型的分割效果进行评估。