1.一种基于CT图像和域不变特征的骨质疏松识别方法,其特征在于,具体步骤如下:S1:建立生成对抗网络的MACE‑CycleGAN模型,对正常剂量图像和低剂量图像进行领域迁移,生成伪图像数据;
S2:建立关键点定位模块、椎体分割任务模块和椎体分类任务模块之间的相关性和强调椎骨之间的关系的多任务关系学习模型;
S3:建立基于域对抗迁移学习模块,将域适应嵌入到学习表示过程中,以便最终的分类决策基于对域的变化具有区分性和不变性的特征;
S4:基于关键点定位模块、椎体分割任务模块、椎体分类任务模块和域对抗迁移学习模块,建立正常剂量和低剂量图像的深度学习模型,构建分步训练损失函数来防止模型过拟合;
在步骤S1中,MACE‑CycleGAN模型具体包括一个生成器和鉴别器;
所述生成器呈“U”型架构,包括5层编码层和5层解码层,在相应的编码层和解码层之间拥有跳跃连接层,将原图大小为512×512像素的CT图像作为网络的输入,由五个卷积层进行下采样,每个卷积层后均有BatchNormal和ReLU激活函数,经过五个下采样层后得到了一个16×16×1024的特征图;随后通过六个残差层组成残差模块,以此来加深网络的深度,提高模型的非线性,其中残差层的特征图大小和通道数均不变;最后,通过五个转置卷积层对特征图进行上采样,将每一层的特征图大小加倍;生成器最终产生了大小为512×512的RGB图像;
所述鉴别器由九个卷积层组成,在第五层卷积层和第六层卷积层后均添加有自注意力层;
在步骤S2中:
所述关键点定位模块,计算L1椎体和L2椎体的中间位置,以中间位置来对512×512像素的图像进行裁剪,裁剪后的图像大小256×256,去除大面积冗余特征,增加特征的可用性;
所述椎体分割任务模块,提取来自编码层的低级特征,并且聚合来自关键点定位模块的高级特征,抑制背景中的噪音对分割的干扰;
所述椎体分类任务模块,将关键点定位模块和椎体分割任务模块得到的感兴趣区域结果作为输入,并且聚合来自用于关键点定位模块的特征,提高分类的准确性;
所述关键点定位模块具体为:
关键点定位模块首先通过两个卷积核大小为3×3步距为2的卷积层进行下采样,然后一共通过四个阶段:第一个阶段包括四个残差块,四个残差块调整通道个数,并不改变特征层大小;第二个阶段在第一个阶段的基础上通过两个并行卷积核大小为3×3的卷积层得到两个不同尺度的分支,并且通过两个同样的并行卷积来增加模型非线性,然后对两个并行卷积产生的多尺度信息进行融合;第三个阶段,在第二个阶段的基础上再增加一个用于下采样的卷积,卷积核大小为3×3步距为2,同样的在增加的卷积后面再增加一个卷积,然后对三个尺度的特征进行融合;第四个阶段,在第三个阶段的基础上再增加一个用于下采样的卷积,也在增加的下采样的卷积后面再增加一个卷积,然后对来自四个尺度的信息进行特征融合;通过并行多个分辨率的分支,加上不断进行不同分支之间的信息交互,同时达到加强语义信息和精准位置信息的目的;
所述椎体分割任务模块具体为:
椎体分割任务模块在所述关键点定位模块的基础上构建的一个“U”型结构,“U”型结构由编码层和解码层构成;
其中,编码层由关键点定位模块的前三个阶段构成;
解码层的第一个上采样阶段是在关键点定位模块的第三个阶段第三个并行卷积后面增加一个上采样的空洞卷积,然后聚合来自空洞卷积的低层特征和来自关键点定位模块的第三个阶段的第二个并行卷积的高层特征,再通过一个卷积来增加非线性;第二个上采样阶段是在第一个阶段的基础上进行上采样,并且聚合来自第一个阶段上采样后的低层特征和来自关键点定位模块的第三个阶段第一个并行卷积的高层特征,再通过一个卷积来增加非线性;第三个上采样阶段是第二个阶段的基础上进行上采样,并且聚合来自第二个阶段上采样后的低层特征和来自关键点定位模块的第二个卷积的高层特征,再通过一个卷积来增加非线性,然后通过两个卷积来得到分割图像;椎体分割任务模块通过共享关键点定位模块的部分特征提取卷积来增加关键点定位模块和椎体分割任务模块的任务关联性;
所述椎体分类任务模块具体为:
首先将关键点定位模块和椎体分割任务模块结果整合,获得一个图像大小为256×
256,通道数为6的图像作为椎体分类任务模块的输入,椎体分类任务模块首先是一个卷积核大小为8×8步距为2的卷积,其次是一个最大池化层来降低图像的分辨率,然后一共有四个阶段:第一个阶段是由三个残差块堆积而成,然后聚合来自关键点定位模块第四阶段第2个并行卷积的特征和残差块的特征;第二个阶段由四个残差块堆积而成,然后聚合来自关键点定位模块第四阶段第3个并行卷积的特征和残差块的特征;第三个阶段是由6个残差块堆积而成,然后聚合来自关键点定位模块第四阶段第4个并行卷积的特征和残差块的特征;
第四个阶段,由3个残差块堆积而成;最后获得一个一维的特征向量,通过全连接层对其进行类别分类,全连接层最后的输出有三个神经元,每个神经元的结果为每个类别的概率;
在步骤S3中:
所述的域对抗迁移学习模块,由一个全连接层构成,全连接层的输入为椎体分类任务模块获得的一维的特征向量,全连接层最后的输出有两个神经元,每个神经元的结果为每个的领域概率。
2.根据权利要求1所述的一种基于CT图像和域不变特征的骨质疏松识别方法,其特征在于,在步骤S4中,构建分步训练损失函数来防止模型过拟合,包括两个步骤:第一,对域对抗迁移学习模块进行梯度翻转;
第二,构建分步层次性损失函数。
3.根据权利要求2所述的一种基于CT图像和域不变特征的骨质疏松识别方法,其特征在于,所述的对域对抗迁移学习模块进行梯度翻转具体包括:假设域分类层为Gd,通过Gd将来自椎体分类任务模块Gf的m×1的特征向量x映射为相应的领域标签,表示为:Gd(x)=ReLU(ux+z)
其中(u,z)是矩阵向量对,分别表示权重和偏置;
假定给定示例(xi,di),使用二元交叉熵来计算领域损失:
Ld(Gd(Gf(xi)),di)=‑dilog(Gd(Gf(xi)))
‑(1‑di)log(1‑Gd(Gf(xi)))
其中xi为输入图像,di为领域类别,并且di∈[0,1],0表示正常剂量图像域,1表示低剂量图像域,Ld表示类别损失函数。
4.根据权利要求2所述的一种基于CT图像和域不变特征的骨质疏松识别方法,其特征在于,所述的构建分步层次性损失函数具体包括:采用新的多任务损失函数,具体如下:
其中,epo表示表示网络训练的总轮次,n表示能够平衡分割任务和定位任务的合适轮次,λ1、λ2、λ3、λ4为可学习的自适应因子来平衡多任务之间的权重,Lseg1表示腰1椎体分割损失函数,Lseg2表示腰2椎体损失函数,Lloc1表示腰1椎体定位损失函数,Lloc2表示腰2椎体定位损失函数,Lclass表示类别损失函数,Ldomain1表示正常剂量图像域损失函数,Ldomain2表示低剂量图像域损失函数。