利索能及
我要发布
收藏
专利号: 2023105043125
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的复合影像特征分类检测方法,其特征在于:所述基于深度学习的复合影像特征分类检测方法包括如下步骤:S1、获取目标的信息数据集和图像数据集;

S2、构建复合影像特征分类检测模型,所述复合影像特征分类检测模型包括数据处理模块、图像特征提取模块和XGBoost分类模型,并执行如下操作:利用数据处理模块对信息数据集进行编码并填入第一表格,形成信息特征数据集;

采用图像数据集训练图像特征提取模块,所述图像特征提取模块包括CNN卷积神经网络、线性投影层、多个Transformer模块、隐藏层和级联上采样模块,所述CNN卷积神经网络包括依次连接的第一卷积操作模块、第二卷积操作模块和第三卷积操作模块,各所述卷积操作模块包括依次连接的第一卷积层、BN层、第一ReLU激活函数和最大池化层,各所述Transformer模块串接,所述图像特征提取模块的训练过程如下:将图像数据集中的图像输入CNN卷积神经网络,获取第一特征图F11、第二特征图F12和第三特征图F13,所述第一特征图F11、第二特征图F12和第三特征图F13依次对应为第一卷积操作模块、第二卷积操作模块和第三卷积操作模块的输出特征,且尺寸为对应卷积操作模块的输入特征的一半;

将第三特征图F13重构成2D补丁序列 为第i个2D补丁,N为

输入序列的长度,即图像块的个数, w为第三特征图F13的宽度,h为第三特征图F13的高度,c为第三特征图F13的通道数,每个图像块的大小为P×P,P为图像块的宽度或高度;

采用线性投影将2D补丁序列xp映射到潜在的d维嵌入空间,形成嵌入序列,d为超参数;

将嵌入序列输入串接的Transformer模块,再经过隐藏层获得隐层特征Fhidden,所述隐层特征Fhidden包括D个长度为n_patch的特征向量;将隐层特征Fhidden转化为宽度为W/16、高度为H/16、通道数为D的高级特征,W为图像数据集中的图像的宽度,H为图像数据集中的图像的高度;

利用级联上采样模块对高级特征进行解码,获得图像特征表示;

采用损失函数评估更新模型参数,获得训练好的图像特征提取模块;

将图像数据集中的各图像输入训练好的图像特征提取模块获得对应的图像特征表示并将图像特征表示的权重填入第二表格形成图像特征数据集;

S3、将信息特征数据集和图像特征数据集拼接融合为复合特征数据集,并按照预设比例划分复合特征数据集为训练集和测试集;

S4、采用训练集训练XGBoost分类模型并采用测试集评估;

S5、将待测目标的信息数据集和图像数据集输入评估后的复合影像特征分类检测模型进行检测,输出分类检测结果。

2.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述级联上采样模块包括依次连接的第二卷积层、第一上采样块、第二上采样块、第三上采样块和第一上采样层,各所述上采样块包括依次连接的第二上采样层、第三卷积层和第二ReLU激活函数,各所述上采样层包括依次连接的第一上采样算子和第二上采样算子,并将第一上采样块的输出特征与第三特征图F13进行通道数叠加作为第二上采样块的输入特征,将第二上采样块的输出特征与第二特征图F12进行通道数叠加作为第三上采样块的输入特征,将第三上采样块的输出特征与第一特征图F11连接进行通道数叠加作为第一上采样层的输入特征,所述第一上采样层的输出特征即为与图像数据集中的图像尺寸相同的图像特征表示。

3.如权利要求2所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述第二卷积层的卷积核尺寸为3×3、通道数为512。

4.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述损失函数Ltotal,计算如下:其中,

其中, 为二值交叉熵函数, 为Dice损失函数,p为像素的真实类别,

为像素属于真实类别的预测概率。

5.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述采用训练集训练XGBoost分类模型基于K‑Fold交叉验证方法。

6.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述分类检测结果包括轻度、中度、重度和极重度四个类别。

7.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述利用数据处理模块对信息数据集进行编码前,还通过分组减少类别数量。

8.如权利要求1所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述信息数据集为电子医疗信息数据集,所述图像数据集为CT影像数据集。

9.如权利要求8所述的基于深度学习的复合影像特征分类检测方法,其特征在于:所述电子医疗信息数据集包括性别、出生年月日、身体质量指数、收缩压、舒张压、处方药物和健康状况表,所述身体质量指数、收缩压和舒张压均包括在预设时间段内的最小值、最大值和平均值三个值。