1.基于深度神经网络的内窥镜图像烟雾净化方法,其特征在于:该方法包括以下步骤:S1:采用Render模拟手术过程中烟雾出现的各种情况随机对腹腔镜图像加入烟雾得到模型的训练、测试和验证数据集;
S2:在U‑Net网络基础上改进,在编码器每一层加入拉普拉斯图像金字塔融合图像,将训练图像输入编码器提取高维特征;
S3:在解码器后五层加入CBAM注意力机制,将编码器部分提取到的图像特征通过解码器还原到输入图像尺寸;
S4:将包含烟雾的合成图像作为训练集、将原始图像作为训练集标签送入改进的U‑Net网络中进行训练,通过反向传播使得网络各层获得相应参数。
2.根据权利要求1所述的基于深度神经网络的内窥镜图像烟雾净化方法,其特征在于:在所述S1中,对于原本不包含烟雾的内窥镜图像进行用软件Render加雾操作,选择真实不含背景的烟雾图像作为软件生成烟雾的参考,生成烟雾的强度、密度和位置都由软件随机控制,随机烟雾图像按照R:G:B=0.3:0.59:0.11的比例生成的,合成烟雾图像由原有内窥镜图像和随机烟雾图像叠加而成;为保证烟雾浓度由明显变化,加雾一次的图像作为淡雾数据集,加雾两次的图像为浓雾数据集。
3.根据权利要求1所述的基于深度神经网络的内窥镜图像烟雾净化方法,其特征在于:所述S2中,针对编码器,对于输入为W×H的图像,原编码部分包含7个卷积组,编码部分由卷积conv1到conv7组成,每一组包含两个步幅分别为1和2的卷积层,每层采取2×2最大池化,
7个卷积组对应卷积核大小分别为7×7、5×5、3×3、3×3、3×3、3×3、3×3,输出层数分别为32、64、128、256、512、512、512,总的下采样因子为64,原编码层每层图像的输入尺寸为拉普拉斯金字塔图像融合的下采样的次数7,先对烟雾图像进行高斯下采样,将下层图像上采样到本层尺寸并与本层作差得到拉普拉斯金字塔融合图像,每层融合图像的尺寸为通道数为彩色RGB3
通道,与原编码器每层输入的尺寸一样,将经过拉普拉斯金字塔融合的图像与对应尺寸的卷积做拼接操作,得到网络每一层的的输入尺寸为35、67、131、259、515、515、515;编码器每一层的作用为提取烟雾图像的不同特征,多层下采样操作是为了提取图像不同频域的特征。
4.根据权利要求3所述的基于深度神经网络的内窥镜图像烟雾净化方法,其特征在于:所述S3中,在解码器的后五层加入CBAM注意力机制,解码器采用7组卷积,每一组包含步幅分别为1和2的两个上采样层,卷积核尺寸全为3×3,输出层数分别为512、512、256、128、64、
32、16;输入特征首先与同尺寸编码器的输出特征做拼接操作,此拼接操作不改变图像的尺寸,仅做维度上的简单叠加,目的是将高层信息直接传输到网络底层,防止高质量细节的丢失;叠加后的特征进行卷积操作得到卷积特征,再将卷积特征送入CBAM注意力模块中;
CBAM注意力模块先在通道的特征长宽方向,对输入特征F进行最大池化后和卷积与激活操作,再对此F特征进行平均池化和卷积与激活操作,将两次操作求和得到通道注意力特征;
同时在图像空间方向,即特征堆叠方向,对输入特征F进行最大池化后和卷积与激活操作,再对此F特征进行平均池化和卷积与激活操作,将两次操作求和得到空间注意力特征,将空间注意力和通道注意力合并后得到本层的输出特征,CBAM注意力模块用于帮助网络提取更好的空间特征。
5.根据权利要求4所述的基于深度神经网络的内窥镜图像烟雾净化方法,其特征在于:所述S3中,在解码器的后五层加入CBAM注意力机制设置,将包含烟雾的合成图像作为训练集、将原始图像作为训练集标签送入改进的U‑Net网络中进行训练,损失函数为原图像和预测图像差值的绝对值,通过反向传播使得网络各层获得相应参数,通过5折交叉验证确认训练效果的可靠性,最终输入烟雾内窥镜图像得到净化效果。