1.注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,包括步骤:
S1、采集一定数量的AIS病人的多模态CTP和MRI图像;
S2、将原始CTP序列转换为伪RGB图像,在转换前清除图像周边病人隐私信息,并将各项参数保存为单独图像,并对标签数据进行配准,之后再扩充原数据集,进行离线数据增强,获得训练集;
S3、构建注意力机制下对CTP进行特征融合的AIS病灶预测模型;
注意力机制下对CTP进行特征融合的AIS病灶预测模型包括4个编码器模块、2个WMHCA特征融合模块、2个解码器模块、1个分割预测模块和1个分割优化模块;
4个编码器对应CTP的4种不同模态数据,编码器之后接WMHCA特征融合模块,特征融合模块需要将两个编码器的特征融合起来,并送入解码器;解码器通过上采样和跳跃连接,来逐步恢复细节信息;两个解码器结果输入分割预测模块,生成初步预测结果,并送入分割优化模块;分割优化模块输出通过优化后的最终预测结果;
WMHCA特征融合模块含有2个输入端和1个输出端,内部共3条支路,支路1、2的输入分别是WMHCA特征融合模块的两个输入端输入,支路3的输入是WMHCA特征融合模块的两个输入端输入的按像素相交结果;
3条支路的输入连接1个1×1卷积,1×1卷积的输出连接unfold单元的输入,unfold单元的输出连接Flatten层的输入;
支路1的Flatten层的输出连接Permute层的输入,Permute层的输出与支路2的unfold单元的输出进行矩阵乘法;
矩阵乘法后的输出连接SE Block模块的输入,SE Block模块的输出连接Softmax层的输入,Softmax层的输出与支路3的unfold单元的输出进行第二次矩阵乘法;第二次矩阵乘法的输出经过Fold层和Concat层后恢复为WMHCA特征融合模块的输入端的输入数据的数据形式,最后与支路3的输入进行按像素相加,并将结果连接WMHCA特征融合模块的输出端;
S4、将步骤S2中预处理后的训练集输入步骤S3构建的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行训练,用骰子和交叉熵混合损失函数进行反向传播更新网络参数,并通过自适应矩估计优化模型,得到训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型;
S5、将待分割预测的急性缺血性脑卒中的多模态CTP图像送入到步骤S4所得到的训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行分割,得到该数据的多模态CTP图像的分割预测结果。
2.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,步骤S2中,原数据集的扩充方法包括平移、旋转、位移。
3.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,编码器模块的每个阶段皆由2个3×3卷积单元、1个1×1卷积单元和1个最大池化层单元组成;上一个阶段的输出端作为下一个阶段的输入端连接第一个3×3卷积单元的输入端,第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端,第二个3×3卷积单元的输出端连接最大池化层单元的输入端,最大池化层单元的输出端连接1×1卷积单元的输入端,1×1卷积单元的输出端作为编码器模块的输出端;
对于每个3×3卷积单元:所有层依次串联,3×3卷积的输入端形成3×3卷积单元的输入端,3×3卷积单元的输出端形成归一化层的输入端,批一化层的输出端形成ReLU激活函数的输入端,ReLU激活函数的输出端形成3×3卷积单元的输出端。
4.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,解码器模块的每个阶段皆由2个3×3卷积单元、1个信道交叉注意力单元和1个反卷积层单元组成;
上一个阶段的输出与编码器器同阶段的输出共同作为下一个阶段的CCA单元的输入,CCA单元的输出与上一阶段的输出又同时作为下一阶段的输入;
一个阶段的输入端连接第一个3×3卷积单元的输入端,第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端,第二个3×3卷积单元的输出端连接反卷积层单元的输入端,反卷积层单元的输出作为本阶段的输出。
5.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,分割预测模块含有1个1×1卷积单元和1个Sigmoid层单元组成;2个解码器模块的输出端,作为分割预测模块的输入端;分割预测模块的输入端作为1×1卷积单元的输入端,
1×1卷积单元的输出端作为Sigmoid层单元的输入端。
6.根据权利要求5所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法,其特征在于,分割优化模块含有Network模块和RefineNet模块;Network模块含有之前的全部模块,4个编码器的输入端共同作为Network模块的输入端,分割预测模块的输出端作为Network模块的输出端;Network模块的输出需要计算不确定度,以二分类为例,不确定度计算公式为:Y=abs(Seg1‑0.5)
Seg1是Network模块的输出,Y是不确定度;
由不确定度,找到Network模块的输出中,不确定度最高的区域,并在Network模块的输入中找到相对应的区域;将该区域再次输入Network模块,得到第二次分割结果;第二次分割结果和第一次分割结果共同作为RefineNet模块的输入;RefineNet模块含有2个3×3卷积单元、1个1×1卷积单元和2个Residual block单元;RefineNet模块的输入端作为第一个
3×3卷积单元的输入端,第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端,第二个3×3卷积单元的输出端连接第一个Residual block单元的输入端,第一个Residual block单元的输出端连接第二个Residual block单元的输入端,第二个Residual block单元的输出端连接1×1卷积单元的输入端;1×1卷积单元的输出端作为RefineNet模块的输出端,RefineNet模块的输出端作为注意力机制下对CTP进行特征融合的AIS病灶预测模型的输出端。