利索能及
我要发布
收藏
专利号: 2019108288077
申请人: 济南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于神经网络的无监督三维医学图像配准方法,其特征在于,包

括步骤:

L1,图像采集:从公开数据集OASIS和ADNI获取三维医学图像,和/或:从CT、MRI或超声成像仪的DICOM接口获取三维医学图像;

L2,对获取到的三维医学图像进行预处理:包括图像分割、裁剪、归一化处理和仿射对齐,并从仿射对齐后的图像中选取任意一个图像作为固定图像IF,其余图像作为浮动图像IM;其中裁剪后的图像大小一致;

L3,基于预处理后得到的固定图像IF和浮动图像IM训练神经网络,得到训练好的神经网络模型;

L4,将待配准的医学图像输入上述训练好的神经网络模型进行配准,得到并输出该待配准的医学图像的配准图像;

其中步骤L3中,基于预处理后得到的固定图像IF和浮动图像IM训练神经网络,得到训练好的神经网络模型,包括:S1、将预处理后得到的固定图像IF和浮动图像IM作为神经网络的输入层输入神经网络,每一组输入数据均包括所述的固定图像IF和一个所述的浮动图像IM;

S2、对输入层中输入的固定图像IF和浮动图像IM进行下采样,输出特征图;

所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程;所述的3个下采样过程对应3个下采样过程层;所述的3个下采样过程层,依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层;每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层;

S3、对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权,得到三个加权后的特征图,依次为:第一加权特征图、第二加权特征图、第三加权特征图;

S4、对步骤S2中输出的特征图进行1×1×1卷积,输出浮动图像IM到固定图像IF的变形场S5、将步骤S2中输出的特征图输入上采样层进行上采样,所述的上采样层包括3个上采样过程层,每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层,每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层;3个上采样过程层对应所述上采样的3个上采样过程;所述的3个上采样过程层,依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层;

其中,第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后,作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入;第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后,作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入;第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后,作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入;

S6、对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积,输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像IM到固定图像IF的变形场,依次为变形场 变形场 和变形场S7、将浮动图像IM和上述输出的变形场 输入到空间变换网络、将浮动图像IM和上述输出的变形场 输入到所述空间变换网络、将浮动图像IM和上述输出的变形场 输入到所述空间变换网络、将浮动图像IM和上述输出的变形场 输入到所述空间变换网络,分别经所述空间变换网络的空间变换,对应得到浮动图像IM对应的变形后的图像,依次为变形后的图像 变形后的图像 变形后的图像 以及变形后的图像S8、基于上述输出的变形场 变形场 变形场 以及基于上述得到的变

形后的图像 变形后的图像 变形后的图像 变形后的图像

利用损失函数计算固定图像IF与所述变形后的图像 之间的损失函数值,并对神经网络进行反向传播优化,直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数,神经网络训练完成,得到所述的训练好的神经网络模型;

所述损失函数的计算表达式为:

在此式①中,表示计算所得的损失函数值,α、β均为常数且α+β=1, 是正则项,λ是正则化控制常数参数, 表示预先给定的由所述固定图像IF降采样得到的三维医学图像;三维医学图像 的大小,依次与所述变形后的图像相等,三维医学图像 的分辨率依次降

低并且均小于所述固定图像IF的分辨率, 表示所述固定图像IF与所述变形后的图像之间的相似度度量, 表示上述三维医学图像 与所述变形后的图像 之间的相似度度量, 表示上述三维医学图像

与所述变形后的图像 之间的相似度度量, 表示上述

三维医 学图像 与所述 变形后的 图像 之间 的相似 度度量 ;

采用相同的相似度度量函数;

步骤S3中所述特征重加权的实现步骤包括:

(H

步骤S31、记下采样中输出的每个要进行特征重加权的特征图均为特征图X,该X∈R×W×D),对特征图X在其D维度上进行切片处理,使用全局平均池化策略对切片处理得到的每(H×W)个切片x∈R 进行全局平均池化处理,得到特征图X其D维度上的每个切片x的切片描述符z,每个切片描述符z的具体公式如下:式中(i,j)表示切片x上的像素点,x(i,j)表示切片x在像素点(i,j)处的灰度值;

步骤S32、获取所述特征图X其D维度上的每个切片x的权重s,其中每个切片x的权重s的计算公式如下:s=σ(δ(z)),

其中,σ表示sigmoid激活函数,δ是ReLU激活函数,z为步骤S31中得到的切片x的切片描述符;

步骤S33、将步骤S32中获取的每个权重s对应加载到各自对应的切片上,得到特征图X其D维度上的每个切片x对应的重加权后的切片 其中所述每个切片x对应的特征重加权计算公式如下:该式中,Fscale(x,s)表示切片x及其对应权重s之间的乘法操作;

步骤S34、基于步骤S33中得到的特征图X其D维度上的每个切片x对应的重加权后的切片 对应得到所述特征图X对应的重加权后的特征图

2.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法,其特征在于,所述的相似度度量函数,采用互相关函数。

3.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法,其特征在于,所述的空间变换网络,采用STN空间变换网络。

4.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法,其特征在于,所述的预处理还包括数据增强;

所述的数据增强包括:对已得到的每个浮动图像分别进行弯曲变换,得到所述已得到的每个浮动图像对应的弯曲变换后的图像;所得到的各弯曲变换后的图像为新增加的浮动图像。

5.一种基于神经网络的无监督三维医学图像配准系统,其特征在于,包括:图像获取单元,从公开数据集OASIS和ADNI获取三维医学图像,和/或:从CT、MRI或超声成像仪的DICOM接口获取三维医学图像;

图像预处理单元,对获取到的三维医学图像进行预处理,包括图像分割、裁剪、归一化处理和仿射对齐,并从仿射对齐后的图像中选取任意一个图像作为固定图像IF,其余图像作为浮动图像IM;其中裁剪后的图像大小一致;

神经网络训练单元,基于预处理后得到的固定图像IF和浮动图像IM训练神经网络,得到训练好的神经网络模型;

图像配准单元,将待配准的医学图像输入上述训练好的神经网络模型进行配准,得到并输出该待配准的医学图像的配准图像;

其中,所述的神经网络训练单元,包括:

输入模块,将预处理后得到的固定图像IF和浮动图像IM作为神经网络的输入层输入神经网络,每一组输入数据均包括所述的固定图像IF和一个所述的浮动图像IM;

下采样模块,对输入层中输入的固定图像IF和浮动图像IM进行下采样,输出特征图;所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程;3个下采样过程对应3个下采样过程层;所述的3个下采样过程层,依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层;每个下采样过程层均包括一个卷积核大小为3×3×

3的卷积层、一个LeakyReLU激活函数层和一个最大池化层;

重加权模块,对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权,得到三个加权后的特征图,依次为:第一加权特征图、第二加权特征图、第三加权特征图;

第一变形场输出模块,对下采样模块输出的特征图进行1×1×1卷积,输出浮动图像IM到固定图像IF的变形场上采样模块,将下采样模块输出的特征图输入上采样层进行上采样,所述的上采样层包括3个上采样过程层,每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层,每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层;3个上采样过程层对应所述上采样的3个上采样过程;所述的3个上采样过程层,依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层;其中,第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后,作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入;第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后,作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入;第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后,作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入;

第二变形场输出模块,对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积,输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像IM到固定图像IF的变形场,依次为变形场 变形场和变形场空间变换模块,将浮动图像IM和上述输出的变形场 输入到空间变换网络、将浮动图像IM和上述输出的变形场 输入到所述空间变换网络、将浮动图像IM和上述输出的变形场输入到所述空间变换网络、将浮动图像IM和上述输出的变形场 输入到所述空间变换网络,分别经所述空间变换网络的空间变换,对应得到浮动图像IM对应的变形后的图像,依次为变形后的图像 变形后的图像 变形后的图像 以及变形后的图像

神经网络优化模块,基于上述输出的变形场 变形场 变形场 以及基

于上述得到的变形后的图像 变形后的图像 变形后的图像 变形

后的图像 利用损失函数计算固定图像IF与所述变形后的图像 之间的损失函数值,并对神经网络进行反向传播优化,直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数,神经网络训练完成,得到所述的训练好的神经网络模型;

所述损失函数的计算表达式为:

在此式①中,表示计算所得的损失函数值,α、β均为常数且α+β=1, 是正则项,λ是正则化控制常数参数, 表示预先给定的由所述固定图像IF降采样得到的三维医学图像;三维医学图像 的大小,依次与所述变形后的图像相等,三维医学图像 的分辨率依次降

低并且均小于所述固定图像IF的分辨率, 表示所述固定图像IF与所述变形后的图像之间的相似度度量, 表示上述三维医学图像 与所述变形后的图像 之间的相似度度量, 表示上述三维医学图像

与所述变形后的图像 之间的相似度度量, 表示上述

三维医 学图像 与所述变 形后的 图像 之间的 相似 度度量 ;

采用相同的相似度度量函数;

所述的重加权模块,包括:

(H

描述符获取模块,记下采样中输出的每个要进行特征重加权的特征图均为X,X∈R×W×D),对特征图X在其D维度上进行切片处理,使用全局平均池化策略对切片处理得到的每(H×W)个切片x∈R 进行全局平均池化处理,得到特征图X其D维度上的每个切片x的切片描述符z,每个切片描述符z的具体公式如下:式中(i,j)表示切片x上的像素点,x(i,j)表示切片x在像素点(i,j)处的灰度值;

切片权重计算模块,获取所述特征图X其D维度上的每个切片x的权重s,其中每个切片x的权重s的计算公式如下:s=σ(δ(z)),

其中,σ表示sigmoid激活函数,δ是ReLU激活函数,z为描述符获取模块得到的切片x的切片描述符;

加权模块,将切片权重计算模块获取的每个权重s对应加载到各自对应的切片上,得到特征图X其D维度上的每个切片x对应的重加权后的切片 其中所述每个切片x对应的特征重加权计算公式如下:该式中,Fscale(x,s)表示切片x及其对应权重s之间的乘法操作;

加权后图像获取模块,基于加权模块得到的特征图X其D维度上的每个切片x对应的重加权后的切片 对应得到所述特征图X对应的重加权后的特征图

6.根据权利要求5所述的基于神经网络的无监督三维医学图像配准系统,其特征在于,所述的相似度度量函数,采用互相关函数。

7.根据权利要求5所述的基于神经网络的无监督三维医学图像配准系统,其特征在于,所述的空间变换网络,采用STN空间变换网络。

8.根据权利要求5所述的基于神经网络的无监督三维医学图像配准系统,其特征在于,图像预处理单元中所述的预处理还包括数据增强;其中所述的数据增强包括:对已得到的每个浮动图像分别进行弯曲变换,得到所述已得到的每个浮动图像对应的弯曲变换后的图像;所得到的各弯曲变换后的图像为新增加的浮动图像。