1.一种内容保证的循环对抗网络手指OCT体数据去噪方法,包括如下步骤:
1)通过人为方式制作一张高质量的干净手指B‑Scan图像;具体包括:
(11)首先对有噪声的手指B‑Scan图像进简单滤波得到较为干净的手指B‑Scan图像;
(12)在简单过滤得到的手指B‑Scan图像中通过计算其峰值信噪比(Peak Siganl to Noise Ratio,PSNR)选取最为干净的图像进行人为效果增强;包括:去除残留的散斑颗粒以及修复组织之间的连续性;提高汗腺、真皮层轮廓的亮度;将手指表皮层与真皮层之间除汗腺外的其余组织全部擦除,突出汗腺,真皮层轮廓和表皮轮廓,最大程度减小重建算法的误判,最终得到一张用于训练的高质量的干净手指B‑Scan图像;
2)构建内容保证的循环生成式对抗网络模型,确定训练流程,设定参数,进行训练;将干净手指B‑Scan图像和有噪声的手指B‑Scan图像输入内容保证的循环生成式对抗网络模型训练直至Loss收敛;所述内容保证的循环生成式对抗网络模型由生成器、判别器和内容损失网络三部分组成,生成器负责生成图像,判别器负责对生成器生成的假图片进行鉴别,内容损失网络负责分别提取输入的噪声图片的内容信息和生成器生成图片的内容信息,计算内容损失;
3)利用训练好的卷积神经网络模型,对OCT体数据进行去噪。
2.根据权利要求1所述的内容保证的循环生成式对抗网络手指OCT体数据去噪方法,其特征在于,所述步骤2)具体包括:
(21)内容保证的循环生成式对抗网络模型由生成器、判别器和内容损失网络三部分组成;生成器生成图像,首先对输入图片进行下采样,下采样层首先对输入图片进行填充,第一次通过64个步长为1的7×7的卷积核,实例归一化层和ReLU激活函数得到长宽大小与原图相同的64通道Feature map,第二次通过128个步长为2的3×3的卷积核,实例归一化层和ReLU激活函数得到256通道Feature map,第三次通过256个步长为2的3×3的卷积核,实例归一化层和ReLU激活函数得到256通道Feature map;然后将下采样层得到的Feature map通过包含6个残差块的过渡层,每个残差块结构相同,输入图片首先通过256个步长为2的3×3的卷积核卷积,归一化层和ReLU激活函数,再通过256个步长为2的3×3的卷积核卷积和归一化层,然后与原始输入残差连接完成特征融合;最后对过渡层得到的结果进行上采样,上采样流程与下采样流程完全相反,将图片还原至输入状态;判别器负责对生成器生成的假图片进行鉴别,其首先对图片进行特征提取,特称提取层第1层包括64个步长为2的3×3的卷积核,实例归一化层和Leak ReLU激活函数,第2层包括128个步长为2的3×3的卷积核,实例归一化层和Leak ReLU激活函数,第3层包括256个步长为2的3×3的卷积核,实例归一化层和Leak ReLU激活函数,第4层包括521个步长为2的3×3的卷积核,实例归一化层和Leak ReLU激活函数,最终得到512通道的Feature map,然后将特称提取层得到的Feature map经过1个步长为2的3×3的卷积核,全连接层得到激活得到输入图像是真是图像的概率;
并通过sigmoid函数激活将输出值控制在0、1之间;内容损失网络负责分别提取输入的噪声图片的内容信息和生成器生成图片的内容信息,第一层为64个步长为1的3×3的卷积核,ReLU激活函数和步长为2的Max Pooling层,第二层为128个步长为1的3×3的卷积核,ReLU激活函数和步长为2的Max Pooling层,第三层为256个步长为1的3×3的卷积核,ReLU激活函数和步长为2的Max Pooling层,最终输出256通道的Feature map用于计算内容损失;
(22)准备两组训练数据,一组是通过OCT采集到未经处理的大量有噪声OCT手指B‑Scan图片,另一组是步骤1)中得到的1张高质量的干净手指B‑Scan图像;
(23)确定内容保证的循环式对抗网络的训练流程,内容保证的循环式对抗网络组件包含双生成器和双判别器,生成器GAB负责从噪声图像到干净图像的生成,生成器GBA负责从干净图像到噪声图像的生成,判别器DA负责判断生成的干净图像是否为真,判别器DB负责判断生成的噪声图像是否为真;内容保证的循环式对抗网络共进行11次训练,每次训练包含不同轮数;其中前10次训练每次只训练1轮,第11次训练训练20轮;
(24)第一次训练采用1张干净图像和n张噪声图像,单轮训练流程如下:n张噪声图像首先经过生成器GAB得到合成的低噪声图像,合成的低噪声图像和原始噪声图像再分别经过内容损失网络得到各自的内容特征图,计算两者之间的平均误差得到内容损失;合成的低噪声图像再通过GBA得到合成的噪声图像,然后计算原始噪声图像和合成的噪声图像之间的平均误差得到循环一致性损失;判别器DA再对合成的低噪声图像进行判断得到GAN损失;1张干净图像首先经过生成器GBA得到合成的噪声图像,合成的噪声图像再通过GAB得到合成的干净图像,然后计算原始干净图像和合成的干净图像之间的平均误差得到循环一致性损失;判别器DB再对合成的低噪声图像进行判断得到对抗损失;
(25)第2次至第10次训练都首先将n张噪声图像经过生成器GAB得到n张合成的低噪声图像,通过结构相似性函数(Tructural Similarity Index,SSIM)比较合成的低噪声图像之间的差异,训练次数用i表示,选取结构差异较大的n/(11‑i)张图片加入干净样本集进行第i次训练,单独一轮的训练流程同步骤(24)在不断丰富干净图像样本集的同时提升干净图像样本集质量;
(26)第11次训练时数据集丰富至n张噪声图像和n′张干净图像,输入内容保证的循环生成式对抗网络模型训练20轮直至Loss收敛,单独一轮的训练流程同步骤(24);
(27)确定轻量级三维卷积神经网络的参数,将训练集中的图片载入模型进行训练,所述步骤(24)中,内容损失函数为合成的低噪声图像和原始噪声图像经过内容损失网络得到的特征图之间的平均误差:其中: 代表噪声图像, 代表生成器GAB合成的干净图像,Yi合成的低噪声图像特征图,Xi为原始噪声图像特征图;
所述步骤(24)中循环一致性损失函数包括噪声图像和GBA生成的合成噪声图像之间的平均误差和干净图像和GAB生成的合成低噪声图像之间的平均误差:其中: 代表噪声图像, 代表GBA生成的合成噪声图像, 代表干净图
像, 代表GAB生成的合成低噪声图像;
所述步骤(24)中对抗损失包括GAB生成的合成低噪声图像与真实干净图像之间的映射对抗损失和GBA生成的合成噪声图像与真实噪声图像之间的映射对抗损失:其中: 代表噪声图像, 代表GBA生成的合成噪声图像, 代表干净图
像, 代表GAB生成的合成低噪声图像; 是判别器DA对GAB生成的低噪声图的判别结果, 是判别器DB对GBA生成的噪声图像的判别结果。
3.根据权利要求2所述的内容保证的循环生成式对抗网络手指OCT体数据去噪方法,其特征在于,所述步骤3)包括如下过程:
由于OCT采集的原大小1800×500的手指B‑Scan图像存在大量黑色区域,因此为了提升网络训练的注意力,设立一个大小为256×256的窗口B‑Scan图像进行裁剪,得到一系列子图片,将子图片作为网络的输入;在用训练好的模型进行手指体数据去噪时也先将体数据进行裁剪输入到网络中,最后将去噪完成子图片重新拼接成1800×500×1400的图像数据。