利索能及
我要发布
收藏
专利号: 2020107428453
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法,其特征在于,所述方法包括以下步骤:(1)数据选取:采用多模态颈动脉数据,选取固定图像和浮动图像,固定图像为突出组织的T1加权图像,浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像,并分别标注出两序列对应的颈动脉标签;

(2)网络训练:根据所述固定图像和浮动图像以及分割出的标签数据,将固定图像和浮动图像输入到神经网络中产生位移场,并通过浮动图像的颈动脉标签与位移场作用,得到扭曲后的标签,通过变形标签和固定图像的标签获得到dice损失函数loss,通过位移场获得正则项的损失函数;

(3)配准图像:根据网络训练产生的模型,将固定图像和浮动图像输入已经训练的网络,得到两个图像之间的位移场,通过位移场和原先输入网络的浮动图像得到扭曲后的图像;

步骤(1)中,数据选取包括以下步骤:

(1.1)图像预处理:将图像统一进行偏移场纠正后进行重采样,获得体素大小为0.6*

0.6*0.6的数据,在重采样的基础上进行图像裁剪,以获得同样大小的图像,过程为:(1.1.1)将两模态的图像进行左右,前后和上下裁剪,以扩增数据,裁剪过程要考虑不同模态对应点的空间信息匹配关系;

(1.1.2)由于浮动图像的图像定位的空间坐标系统使用RAS,固定图像所用为RAI,即两序列图像对于空间位置坐标为:fixed(x,y,z)=moving(x,‑z,y)

其中,moving(x,‑z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示,这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z),所以需要对移动图像进行装置翻转的相关操作,将转化moving(x,‑z,y)为moving(x,y,z),以满足网络训练时的像素点匹配的基本要求;

(1.2)颈动脉标签的标注:利用标注软件ITK‑SNAP标注出颈动脉两个序列MRI图中的血管部位;

步骤(2)中,网络训练包括以下步骤:

(2.1)多特征输入限制型仿射模型结构设计:

输入移动和固定图像,在输入网络前进行如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作:其中a为移动图像和固定图像的像素点总数, 为拼接符号;

(2.1.1)利用串行卷积的多特征输入预测融合:

串行的结构在每一卷积层之间获得不一样抽象特征,仿射变形和可变性变形共享下采样结构,在下采样和上采样的卷积层之间引入仿射层的输入,这样充分利用不同层的特征参数,将其线性投影为仿射矩阵,预测更加准确的仿射变形;

在输出的三个仿射变形后,将其分别于可变形网格结合,并进行相关的权重化的融合,仿射层C1,仿射层C2,仿射层C3分别对应的权重大小为0.2,0.3,0.5,这样对于高特征量的输入仿射层,占比更大,参数利用效果更高,最后获得DA grid进行图像配准;

(2.1.2)强约束解决网络训练尺度不平衡的初始化以及适应性的仿射变形:对于仿射矩阵的训练过程进行强约束,来约束变化矩阵,防止训练过程中过度的仿射变形导致损失函数出现异常,解决了网络训练尺度不平衡的初始化问题;

仿射变换层由一个全连接层实现,用于回归变换参数,得到单个12神经元密集层,分别表示平移、旋转、缩放和剪切的三维仿射变换参数,假设把卷积后输入仿射层设为x,那么Am×n=affine(X,W,b)=Xm×kWk×n+b1×n,初始化权重Wk×n为随机正太分布,而对Xm×kWk×n进行强约束, 其中‑r≤aij≤r,i=1,2,3,j=1,2,3,4,r为约束值,这样对矩阵每一参数进行强约束,并且每个仿射层约束值不同,用以增加仿射预测的可变范围,不同配准的数据设置自己的约束值,以便获得适应性的仿射变形;

(2.2)损失函数的确定:

利用dice作为loss来保证颈动脉的配准效果,在固定图像标签和移动图像标签经过DA grid后获得的弯曲图像标签,用以计算动脉形变:其中N为标签的体素数量总和,ai,bi分别为固定图像标签和弯曲图像标签的二进制标签,为了避免异常,动脉形变损失Lad确定为:利用弯曲能作为正则惩罚项保证网格的平滑度:

其中V为图像域的体素数量,对于仿射变换,这个正则化项是零,因此只惩罚可变性变换;

针对颈动脉图像的特点,将两序列间不同模态间分岔处的关键点进行标注,计算获得两标注点距离引入loss函数中:其中S为分岔处关键点总数,Ifi和Imi分别为对应固定图像和移动图像的分岔关键点空间坐标;

最终获得loss为:

Loss=Lad+αLbe+Ldistance

α为正则超参数。

2.如权利要求1所述的一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法,其特征在于,步骤(3)中,经过步骤(1)和(2)所述,通过训练得到配准后的模型,虽然训练需要移动图像,固定图像和它们对应的颈动脉标签,但验证过程只需要一对未标记的移动和固定图像,首先需要恢复训练的网络以便用于预测DA grid和训练的权重参数,然后通过配准图像计算获得两个模态之间的DA grid,最后通过DA grid和移动图像获得弯曲图像。