利索能及
我要发布
收藏
专利号: 2023100251494
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种深度学习相融合的协同学习增强的结肠息肉分割方法,其特征在于,步骤如下:第一步:对结肠镜图像训练数据统一分辨率;

第二步:将训练集分别输入到Transformer分支和CNN分支中;

第三步:Transformer分支中首先对输入的图像预处理为二维序列形式,然后输入到DeiT‑small中进行全局特征信息提取,最后对DeiT‑small的输出序列Tl重塑为dmodel通道的

2D特征图像 然后使 用两次渐进式上采样得到特征图

第四步:CNN分支中首先将输入图像传到HardNet‑MSEG网络中进行提取局部特征信息,然后对于HardNet‑MSEG的输出Ul进行下采样得到U0,然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到 接着对U2进行上采样在下采样得到同理基于U1更新

第五步:

5.1将Transformer分支提取的特征图Ti和CNN分支提取的特征图Ui输入到全局‑局部融合子模块中,实现对来自两个分支同一尺度下的特征图的融合,最终的输出Fi表示融合特征图;

5.2将全局‑局部融合子模块的输出Fi输入到密集融合子模块中进行多尺度特征融合,目的是为了获得更全面的特征表示;

第六步:将Transformer分支、CNN分支、融合分支视为三个视角,使用多视角协同的目标函数进行训练,实现自适应的评估每个视角的权重;

第七步:网络结构中三个视角输出三个预测图,本发明利用每个视角的权重与各自预测图相乘在相加作为最终预测图,实现综合决策。

2.如权利要求1所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法,其特征在于:所述第六步具体操作如下:将Transformer分支、CNN分支、融合分支视为三个视角,使用多视角协同的目标函数进行训练,实现自适应的评估每个视角的权重;

其中,w代表视角权重系数,Θ代表模型参数,lossk代表第k个视角的预测值与真实标签之间的损失,λ代表超参数,Prek代表第k个视角的预测输出,G代表真实标签。

3.如权利要求2所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法,其特征在于:所述步骤6中,λ超参数的最优值采用交叉验证策略得到。

4.如权利要求1或2或3所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法,其特征在于:所述的第七步具体操作如下:本发明在训练过程保存了每个分支的权重,所以利用每个视角的权重与各自预测图相乘在相加作为最终预测图,实现综合决策,有望实现最佳分割效果;

其中,Out代表综合决策后的输出结果,wk代表第k个视角的权重。

5.如权利要求4所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法,其特征在于:所述第七步中使用的多视角训练,对于目标函数的求解采用交叉迭代的方式进行求解,固定网络参数Θ,利用 求解wk,本发明中设置λ为1,固定wk,利用Adam优化器更新模型参数Θ;wk为每个第k个视角的权重,要求三个视角权重相加为1。