利索能及
我要发布
收藏
专利号: 2021108504868
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述基于空间位置引导的X光片桡骨远端骨折分类方法,包括:将原始手腕部X光图像输入至关节面目标检测模型,得到桡骨关节面检测结果,并对检测结果进行裁剪,得到关节面感兴趣区域IROI;

将关节面感兴趣区域IROI输入至关节面分割模型,得到桡骨关节面的分割结果Iseg;

将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类模型,得到骨折分类结果和骨折类别可视化结果图;

其中,所述桡骨远端骨折分类网络包括分类第一卷积层、分类第二池化层、分类第三卷积层、分类第四残差层、分类第五卷积层、分类第六残差层、分类第七卷积层、分类第八残差层、分类第九残差层、两个全连接层、多编码模块和特征融合模块,所述将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类网络,得到骨折分类结果和骨折类别可视化结果图,包括:步骤3.1、将关节面感兴趣区域IROI依次输入至卷积核大小为7×7的分类第一卷积层,池化核大小为3×3的分类第二池化层,得到特征图Fb1,其维度大小为Cb1×Hb1×Wb1;

步骤3.2、将分割结果Iseg输入至卷积核大小为1×1和3×3的分类第三卷积层,得到特征图Fp1,其维度大小与Fb1一致,之后将Fp1和Fb1输入至特征融合模块,得到特征图Fbp1,其维度大小与Fb1一致;

步骤3.3、将特征图Fbp1输入至分类第四残差层,所述分类第四残差层包括三个卷积核大小为1×1、3×3和1×1的残差块,得到特征图Fb2,其维度大小为Cb2×Hb2×Wb2;

步骤3.4、将特征图Ep1输入至卷积核大小为1×1和3×3的分类第五卷积层,得到特征图Fp2,其维度大小与Fb2一致,之后将Fp2和Fb2输入至特征融合模块,得到特征图Fbp2,其维度大小与Fb2一致;

步骤3.5、将特征图Fbp2输入至分类第六残差层,所述分类第六残差层包括四个卷积核大小为1×1、3×3和1×1的残差块,得到特征图Fb3,其维度大小为Cb3×Hb3×Wb3;

步骤3.6、将特征图Ep2输入至卷积核大小为1×1和3×3的分类第七卷积层,得到特征图Fp3,其维度大小与Fb3一致,之后将Fp3和Fb3输入至特征融合模块,得到特征图Fbp3,其维度大小与Fb3一致;

步骤3.7、将特征图Fbp3输入至分类第八残差层,所述分类第八残差层包括六个卷积核大小为1×1、3×3和1×1的残差块,得到特征图Fb4,其维度大小为Cb4×Hb4×Wb4;

步骤3.8、将特征图Fb4输入至分类第九残差层,所述分类第九残差层包括三个卷积核大小为1×1、3×3和1×1的残差块,得到特征图Fb5,其维度大小为Cb5×Hb5×Wb5;

步骤3.9、将特征图Fb5分别进行最大池化和最小池化操作,之后将得到的两个特征图按通道进行拼接,再输入至两个全连接层,得到骨折分类预测分向量O1,其维度大小为1×2;

步骤3.10、将特征图Fb4输入至多编码模块,得到骨折分类预测分向量O2,其维度大小和O1一致,以及骨折类别可视化结果图;

步骤3.11、将O1和02进行加权求和,得到总的骨折分类预测向量Ofinal,其维度大小和O1一致,将Ofinal中每个值使用如下公式进行激活,得到A型骨折和B型骨折的概率,取概率较大的类别作为最终的骨折分类结果:

2.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述目标检测模型包括目标检测第一卷积层、目标检测第二残差层、目标检测第三残差层、目标检测第四残差层、目标检测第五卷积层、最大池化层、目标检测第六卷积层、目标检测第七卷积层、目标检测第八卷积层、目标检测第九卷积层、目标检测第十卷积层和目标检测第十一卷积层,所述将原始手腕部X光图像输入至关节面目标检测模型,得到桡骨关节面检测结果,并对检测结果进行裁剪,得到关节面感兴趣区域IROI,包括:步骤1.1、将原始手腕部X光图像输入至卷积核大小为3×3的目标检测第一卷积层,得到特征图F1,其维度大小为C1×H1×W1;

步骤1.2、将特征图F1输入至目标检测第二残差层中,所述目标检测第二残差层包括三个残差卷积块,得到特征图F2,其维度大小为C2×H2×W2;

步骤1.3、将特征图F2输入至目标检测第三残差层中,所述目标检测第三残差层包括一个残差卷积块,得到特征图F3,其维度大小为C3×H3×W3;

步骤1.4、将特征图F3输入至目标检测第四残差层中,所述目标检测第四残差层包括一个残差卷积块,之后输入至目标检测第五卷积层,所述目标检测第五卷积层包括卷积核大小为1×1、3×3和1×1的卷积块,得到特征图F4,其维度大小为C4×H4×W4;

步骤1.5、将特征图F4输入至最大池化层中,所述最大池化层包括大小分别为5×5、9×

9、13×13的池化核,并使用零填充方法使得输出特征图的尺寸大小保持不变,之后将三个输出特征图按通道进行拼接输入至目标检测第六卷积层,所述目标检测第六卷积层包括卷积核大小为1×1、3×3和1×1的卷积块,得到特征图F5,其维度大小和F4一致;

步骤1.6、将特征图F5进行上采样,之后与F3按通道进行拼接,并输入至目标检测第七卷积层,所述目标检测第七卷积层包括卷积核大小为1×1和3×3的卷积块,得到特征图F6,其维度大小和F3一致;

步骤1.7、将特征图F6进行上采样,之后与F2按通道进行拼接,并输入至目标检测第八卷积层,所述目标检测第八卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块,得到特征图F7,其维度大小和F2一致;

步骤1.8、将特征图F7进行下采样,之后与F6按通道进行拼接,并输入至目标检测第九卷积层,所述目标检测第九卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块,得到特征图F8,其维度大小和F3一致;

步骤1.9、将特征图F8进行下采样,之后与F5按通道进行拼接,并输入至目标检测第十卷积层,所述目标检测第十卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块,得到特征图F9,其维度大小和F4一致;

步骤1.10、将F7、F8和F9分别输入至目标检测第十一卷积层,所述目标检测第十一卷积层包括卷积核大小为3×3和1×1的卷积块,得到输出结果一P1,其维度大小为18×H2×W2,输出结果二P2,其维度大小为18×H3×W3,以及输出结果三P3,其维度大小为18×H4×W4;

步骤1.11、将三个输出结果得到的预测框进行非极大值抑制操作,得到关节面检测结果,并对其进行裁剪,得到关节面感兴趣区域IROI。

3.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述分割模型包括分割第一卷积层、分割第二卷积层、分割第三卷积层、分割第四卷积层、分割第五卷积层、分割第六卷积层、分割第七卷积层、分割第八卷积层、分割第九卷积层和分割第十卷积层,所述将关节面感兴趣区域IROI输入至分割模型,得到桡骨关节面的分割结果Iseg,包括:步骤2.1、将关节面感兴趣区域IROI输入至分割第一卷积层,所述分割第一卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fen1,其维度大小为Ca1×Ha1×Wa1;

步骤2.2、将特征图Fen1进行最大池化操作,并输入至分割第二卷积层,所述分割第二卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fen2,其维度大小为Ca2×Ha2×Wa2;

步骤2.3、将特征图Fen2进行最大池化操作,并输入分割第三卷积层,所述分割第三卷积层包括至两个卷积核大小为3×3的卷积块,得到特征图Fen3,其维度大小为Ca3×Ha3×Wa3;

步骤2.4、将特征图Fen3进行最大池化操作,并输入至分割第四卷积层,所述分割第四卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fen4,其维度大小为Ca4×Ha4×Wa4;

步骤2.5、将特征图Fen4进行最大池化操作,并输入至分割第五卷积层,所述分割第五卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fen5,其维度大小为Ca5×Ha5×Wa5;

步骤2.6、将特征图Fen5进行上采样,之后与Fen4按通道进行拼接,并输入至分割第六卷积层,所述分割第六卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fup1,其维度大小与Fen4一致;

步骤2.7、将特征图Fup1进行上采样,之后与Fen3按通道进行拼接,并输入至分割第七卷积层,所述分割第七卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fup2,其维度大小与Fen3一致;

步骤2.8、将特征图Fup2进行上采样,之后与Fen2按通道进行拼接,并输入至分割第八卷积层,所述分割第八卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fup3,其维度大小与Fen2一致;

步骤2.9、将特征图Fup3进行上采样,之后与Fen1按通道进行拼接,并输入至分割第九卷积层,所述分割第九卷积层包括两个卷积核大小为3×3的卷积块,得到特征图Fup4,其维度大小与Fen1一致;

步骤2.10、将特征图Fup4输入至分割第十卷积层,所述分割第十卷积层包括卷积核大小为3×3、3×3和1×1的卷积块,得到桡骨关节面的分割结果Iseg。

4.根据权利要求2所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述的残差卷积块,由1×1卷积操作和残差块组成,残差块分别重复执行了1次、2次、8次、8次和4次。

5.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述特征融合模块,包括批量归一化层、像素相加操作和激活层。

6.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述将特征图Fb4输入至多编码模块,得到骨折分类预测分向量O2,包括:(1)对输入特征图Fb4进行通道空间注意力提取操作,得到特征图Fm1;

(2)将特征图Fm1分别进行全局最大池化和全局平均池化,得到两个特征图,之后将两个特征图按通道进行拼接并输入至两个全连接层,得到特征向量V1;

(3)将Fb4进行类激活操作,计算Fb4每个位置的梯度,再通过全局平均池化操作,得到Fb4每个通道的平均梯度 将 对Fb4进行加权并经过激活操作,得到类别激活图Fcam;

(4)将Fb4进行两次并行的1×1卷积操作并进行维度转换操作,得到特征图Fq,其维度为Hb4Wb4×Cb4,特征图Fk,其维度为Cb4×Hb4Wb4;

(5)将Fq和Fk进行相乘操作、激活操作,之后将输出与Fcam进行相乘操作,得到骨折类别可视化结果图;

(6)将骨折类别可视化结果图分别进行全局最大池化和全局平均池化,得到两个特征图,之后将两个特征图按通道进行拼接并输入至两个全连接层,得到特征向量V2;

(7)将V1和V2进行相加,得到骨折分类预测分向量。

7.根据权利要求6所述的基于空间位置引导的X光片桡骨远端骨折分类方法,其特征在于,所述对输入特征图Fb4进行通道空间注意力提取操作,得到特征图Fm1,包括:(1)将输入特征图分别进行全局最大池化和全局平均池化,并输入至两个全连接层,得到两个特征图,之后将两个特征图按像素相加并进行激活操作,得到特征图f1;

(2)将特征图f1和输入特征图进行相乘操作,得到特征图f2;

(3)将特征图f2分别进行基于通道的全局最大池化和全局平均池化,得到两个特征图,之后将两个特征图按通道进行拼接,得到特征图f3;

(4)将特征图f3输入至卷积核大小为7×7的卷积层,并进行激活操作,得到特征图f3;

(5)将特征图f3和特征图f2进行相乘操作,得到用以输出的特征图。