1.一种基于多视角融合的深度息肉分割方法,包括以下步骤:构建并训练编解码网络模型;
获取待处理的结肠镜图像;
其特征在于,
1 V
将结肠镜图像进行多视角变化,得到V个视角的输入图像I~I;
1 V
使用训练好的编解码网络模型对V个视角的输入图像I~I 进行分割处理,得到息肉分割图Pfinal;
其中,所述编解码网络模型包括:v
编码器部,其用于对第v个视角的输入图像I进行特征提取,得到4种不同尺度的特征图其中,4种不同尺度的特征图按照尺度从大到小进行排序为解码器部,其包括特征融合部、预测头部;所述特征融合部用于按照尺度从小到大的顺序将4种不同尺度的特征图进行融合,得到中间特征图 其中, 与 尺度相同,与 尺度相同, 与 尺度相同;所述预测头部用于根据 预测得到辅助预测图v v根据 预测得到辅助预测图 根据F1预测得到辅助预测图P1;
以及
1 V 1 V
分割预测部,其包括视角统一部、特征聚合部;所述视角统一部用于将F1 ~F1、P1~P1进行视角调整,统一成相同视角的中间特征图 辅助预测图 其中,
1 V 1 V
由F1~F1对应得到、 由P1~P1 对应得到;所述特征聚合部用于基于 计算权重矩阵W,并依据权重矩阵W将 进行聚合得到息肉分割图Pfinal。
2.根据权利要求1所述的基于多视角融合的深度息肉分割方法,其特征在于,V≥2。
3.根据权利要求1所述的基于多视角融合的深度息肉分割方法,其特征在于,所述编码器部为PVT‑v2网络。
4.根据权利要求1所述的基于多视角融合的深度息肉分割方法,其特征在于,所述特征融合部包括3级交叉门控融合部;
其中,第1级交叉门控融合部用于将 与 融合成第2级交叉门控融合部用于将 与 融合成v
第3级交叉门控融合部用于将 与 融合成F1。
v
5.根据权利要求4所述的基于多视角融合的深度息肉分割方法,其特征在于,F3的计算公式为:的计算公式为:
v
F1的计算公式为:
式中, 表示中间特征;
C1(.)表示1×1卷积计算;ReLU(.)表示ReLU激活函数;[.||.]表示按照通道维度进行拼接;UP(.)表示上采样;σ(.)表示Sigmoid激活函数;⊙表示哈达玛积。
6.根据权利要求5所述的基于多视角融合的深度息肉分割方法,其特征在于,所述预测头部与3级交叉门控融合部分别连接;所述预测头部包含一个1×1卷积层。
7.根据权利要求1所述的基于多视角融合的深度息肉分割方法,其特征在于,W的计算公式为:式中,ρ(.)表示softmax激活函数;C1(.)表示1×1卷积计算;C3(.)表示3×3卷积计算;
Pfinal的计算公式为:
v
式中,W表示第v个辅助预测图 的权重。
8.根据权利要求1所述的基于多视角融合的深度息肉分割方法,其特征在于,所述编解码网络模型的训练方法包括:S1.1,获取息肉图像样本数据集;
S1.2,将息肉图像样本数据集划分为训练集、测试集;
S1.3,使用训练集对编解码网络模型进行训练,使用测试集对训练后的编解码网络模型进行性能验证;
S1.4,获取S1.3中性能最佳的编解码网络模型,作为训练好的编解码网络模型。
9.一种基于多视角融合的深度息肉分割系统,其特征在于,其使用了如权利要求1‑8中任一项所述的基于多视角融合的深度息肉分割方法;
所述基于多视角融合的深度息肉分割系统包括:编解码网络模块,其用于构建并训练编解码网络模型;
结肠镜图像输入模块,其用于获取待处理的结肠镜图像;
1
多视角处理模块,其用于将结肠镜图像进行多视角变化,得到V个视角的输入图像I ~VI;
以及
1 V
息肉分割模块,其用于使用训练好的编解码网络模型对V个视角的输入图像I~I 进行分割处理,得到息肉分割图Pfinal。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行如权利要求1‑8中任一项所述的基于多视角融合的深度息肉分割方法的步骤。