1.一种基于深度学习的内窥镜烟雾图像分类方法,该方法包括以下步骤:
S1:挑选腹腔镜图像,将其中一部分图像进行渲染得到有雾数据集,与未渲染的无雾数据集共同作为训练集和测试集,在训练集和测试集的无雾和有雾图像的比例为4:1;
S2:在Poolformer网络基础上改进,将token mixer部分替换为类似ConvNext的多路分支结构作为训练网络,利用训练集进行训练;所述的Poolformer网络改进如下:Poolformer网络的编码器中含有下采样模块及ConvNext Block模块;所述下采样模块由一个Layer norm层和一个卷积层构成,卷积核大小为2×2,步距为2,通道数与输入图像数据相同;所述ConvNext Block模块对于输入为H×W×C的数据,通过第一部分的卷积层与Layer norm层输出为H×W×dim,所述第一部分的卷积层的卷积核大小为7×7,步距为1,填充为3,通道数为dim;通过第二部分的卷积层与Gelu层输出为H×W×4dim,所述第二部分的卷积层的卷积核大小为1×1,步距为1,通道数为4dim;通过第三部分的卷积层与Layer Scale层和Drop path层和初始输入数据融合输出为H×W×dim,所述第三部分的卷积层的卷积核大小为1×1,通道数为dim;
在训练过程中,将有雾图像标签设置为1,无雾图像标签设置为0;训练输出经过分类器得到一组包含概率值的向量,通过反向传播达到拟合的效果;对输入内窥镜烟雾图像通过网络正向传播得到两个类别的相应的概率值判断是有雾还是无雾;
使用GeLu激活函数和Adam优化器,Epoch为100,初始学习率设置为0.001,批次大小为
32,Patch Size=16,10折交叉验证确认训练效果的可靠性;
S3:在预测训练时将ConvNext Block转化成类似RepVgg的单路结构RepConvNext Block进行预测;工作流程如下:在预测训练时将训练中的ConvNext Block转化成RepConvNext Block,此操作不改变训练过程中ConvNext Block模块的基本参数,但在预测分类结果时采用单路分支网络不进行融合;
S4:输入图像经过级联网络输出烟雾类别的概率值,通过概率值确认疑似烟雾图像类别。
2.根据权利要求1所述的基于深度学习的内窥镜烟雾图像分类方法,其特征在于:步骤S4中,经过序列池化汇集L层的Transformer编码器的输出,使用数据序列中包含输入图像的不同部分的信息和类别信息,序列池化输出Transformer编码器产生的潜在空间的顺序嵌入,最终经过序列池化的输出通过线性分类器得到结果。