利索能及
我要发布
收藏
专利号: 2024117769560
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,包括以下步骤:S1、从皮肤病图像数据集中随机抽取两张同类或异类的原始皮肤病图像,并分别输入到结构相同的双分支小样本对比学习网络DB‑FSCLNet中;

S2、利用IRA‑UNet分割模块对原始皮肤病图像的病变区域进行分割,生成两个对应分支的病变分割掩码;

S3、将病变分割掩码输入形态定位模块,利用几何形态特征提取法从病变分割掩码中提取形状信息,确定病变区域最小正方形边框并裁剪缩放,获得对应支路的形状信息与病变图像;

S4、在MC‑GLCM纹理提取模块中,利用多尺度灰度共生矩阵计算两个分支病变图像在不同尺度下的纹理信息,并使用特征方差加权策略进行加权融合,获得纹理信息;

S5、利用CGRNet特征提取模块提取S3中获得的病变图像的浅层特征与深层特征,并通过多个卷积门控循环单元融合浅层特征与深层特征,分别获得两个分支的深浅特征;

S6、利用对比学习模块,计算两个分支的深浅特征之间的对比损失,以优化CGRNet网络参数,增强小样本数据的特征表征能力;

S7、利用CMFF融合模块将形状信息、纹理信息与深浅特征进行多模态融合,进行皮肤病的分类识别;

S8、输出可解释性结果,包括皮肤病类别、形状信息、纹理信息和阶段性可视化图。

2.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S1中,双分支小样本对比学习网络结合专业医生实际诊断逻辑,包括以下阶段:聚焦放大阶段模拟医生诊断过程中对病变图像的缩放和病变区域的关注,通过IRA‑UNet分割模块对原始皮肤病图像的病变区域进行分割,生成病变分割掩码,并利用形态定位网络提取病变分割掩码的形状信息,裁剪包括病变区域的最小正方形边框并进行缩放;

特征提取对比阶段模拟医生诊断过程中对病变区域的观察及对不同病变的比较,采用MC‑GLCM纹理提取网络提取多尺度的纹理信息,并通过CGRNet特征提取模块获得病变图像的深浅特征,通过对比学习模块计算两个支路深浅特征之间的对比损失,以优化CGRNet网络参数;

融合识别阶段模拟医生诊断过程中综合图像信息与临床信息做出诊断决策,通过CMFF融合模块将形状信息、纹理信息元数据信息与深浅特征的图像信息进行多模态融合,用于分类决策并输出可解释性结果。

3.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S2中,IRA‑UNet分割模块对原始皮肤病图像的病变区域进行分割,获得两个支路的病变分割掩码,包括以下步骤:S2.1,编码器部分采用倒残差结构对每一层输入的特征图依次进行升维、特征提取、降维的操作,升维提升特征表示能力,降维减小计算开销,并在高维空间中提取丰富的语义信息,其计算过程表示为:其中,X、Y分别表示输入特征图和输出特征图,

表示1×1标准卷积,用于提升空间维度; 表示卷积核为3×3的逐通道卷积,用于特征提取; 表示卷积核为1×1的逐点卷积,用于降低空间维度;

S2.2,解码器部分采用反卷积操作进行上采样,通过反向传播学习卷积核的权重参数,反卷积操作在逐层重建过程中精确恢复原始空间结构,提高病变区域边界细节;

S2.3,在每一层的编码器和对应层解码器之间的跳跃连接中加入通道空间注意块CSA传递特征,分别从通道维度和空间维度计算特征权重,对输入特征图进行加权融合处理,关注重点区域和提升分割效果,CSA中包含通道注意块和空间注意块,通道注意块采用空间平均池化和空间最大池化对各通道的语义信息进行整合,经过全连接层得到通道注意权重图,再与输入特征F进行像素级相乘,得到通道注意块增强后的特征 ,空间注意块采用通道平均池化和通道最大池化对空间关系建模,通过卷积层强化特征中的元素联系,得到空间注意权重图,再与输入特征F进行像素级相乘,得到空间注意块增强后的特征,为了汇总通道注意块与空间注意块的特征信息,将 和 与F进行加权融合得 到 ,计算公式如下: ,

, ;其中,⊙表示逐元素乘

法, W1和b1是全连接层的权重和偏置,σ是sigmoid激活函数,[;]表示拼接操作, 表示空间平均池化, 表示空间最大池化,Conv7×7表示卷积核为 7×7 的卷积操作, 表示通道平均池化, 表示通道最大池化, 表示加权融合特征,α和β是初始值为0的两个可学习的加权因子,用于调整通道注意特征与空间注意特征的权重。

4.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S3中,利用形态定位模块,从病变分割掩码中提取形状信息,确定病变区域的最小正方形边界框进行裁剪并缩放,包括以下步骤:S3.1,通过病变分割掩码计算病变像素面积、像素周长、病变占比率,所述病变分割掩码M为二值图像,i和j表示像素点,M(i,j)=1表示病变像素,M(i,j)=0表示背景像素,S={(i,j)|M(i,j)=1}表示病变区域像素集合, 表示病变区域像素面积,表示病变区域像素面周长,其中 表示通过边缘检测

算法得到病变区域的边界像素, 示病变占比率,通过计算病变区域像素面积A与图像总像素面积Atotal的比值;

S3.2,计算病变区域的多角度对称性,将病变区域按0°、45°、90°和135°方向给定翻转轴进行镜像翻转,翻转后的病变区域面积分别表示为A0°、A45°、A90°和A135°,多角度对称性计算公式如下: ;

S3.3,利用结合圆度、边缘平滑度和边缘复杂度的综合规则性评价指标来评估病变区域边缘的规则性,计算公式如下: ;

其中, 、 和 为可学习的加权系数, 为圆度,用于衡量病变区域与圆形的相似度,圆度越接近1,病变区域越接近圆形, 为边缘复杂度,用于衡量病变区域边缘的曲率变化, 为边缘上每个点的曲率, 是边缘曲率的均值,O为边缘点数目;

S3.4,计算病变区域的最小外接矩形边界框,其病变区域上、下、左、右边界对应的像素坐标为 , , , ,则边界框边长可表示为,以 和 为病变中心构建

最小正方形边界框坐标为 ,对其进行裁剪,去除无关背景并将

裁剪后的病变区域进行缩放至标准尺寸 224×224,确保后续输入一致性。

5.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S4中,通过MC‑GLCM纹理提取模块提取病变区域的多尺度纹理信息,并通过特征方差加权融合策略进行加权,获得纹理信息,包括以下步骤:S4.1,将病变区域的像素值进行量化处理,将原图像像数值离散化到G个灰度级,生成灰度图像I,其像数值 i∈{0,1,2,…,G−1},每个像素的灰度值由原图像的像素强度决定,使用大小为Ds×Ds的滑动窗口对病变区域进行采样,其中s∈{1,2,…,S}代表不同的尺度,计算多尺度灰度共生矩阵,计算公式如下:其中, 表示在尺度Ws×Ws和角

度θ下灰度值i和 j的共现频率,相对位移(dx(θ),dy(θ))表示在给定角度θ下相邻像素之间的偏移量,Is表示在Ds×Ds尺度下的图像区域, 表示在图像I中满足和 条件的像素对数量;

S4.2,通过多尺度灰度共生矩阵,分别计算不同尺度下的纹理信息Fs,通过特征方差加权融合策略得到多尺度纹理特征FTexture,计算公式如下: 其中,Fs表示第s个尺度下的纹理特征向量,Var(Fs)表示特征方差, 是为每个尺度分配的加权系数,由第s个尺度下纹理特征的特征方差占所有尺度总特征方差的比例,反映该尺度纹理信息的变化范围或显著性,方差越大表示该尺度的纹理信息越为显著,权重越高。

6.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S5中,CGRNet特征提取模块实现浅层特征与深层特征融合,分别获得两个支路的深浅特征,包括以下步骤:S5.1,CGRNet使用CNN架构提取病变图像浅层特征和深层特征,使用多个卷积门控循环单元对特征进行逐阶段融合,其中使用卷积操作替换门控单元的线性结构,当前阶段特征Xi和上一阶段输出特征Ht‑1在卷积空间中保持特征维度一致,选择门rt、融合门zt和生成状态 ,计算公式如下: 其中,t表示CNN架构中第t阶段,Convt(t=1,2,3…,T)表示不同通道的卷积操作,保证输入特征的维度一致性,σ表示Sigmoid激活函数,∗表示像素级乘积;

S5.2,卷积门控循环单元通过选择门rt动态调控前一阶段特征Ht‑1的贡献比例,使得浅层信息在深层特征融合中仍能发挥作用;通过融合门zt选择性融合当前输入Xt和上一阶段输出特征Hi‑1,实现信息的动态更新与筛选,同时丢弃不重要的历史信息并保留关键特征,对不同阶段的特征进行选择性过滤和动态调节,输出状态特征Ht的计算公式如下:在模型初始阶段不存在前一输出特征Ht‑1,则

通过引入零状态初始化策略,生成隐状态 H0=0。

7.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S6中,所述的对比学习模块,通过设计双分支深浅特征之间的对比损失函数,在小样本的条件下优化CGRNet网络参数,包括以下步骤:S6.1,从CGRNet特征提取模块得到两个支路的深浅特征fa和 fb,两者之间的欧式距离为 ,根据样本的特征距离计算动态加权因子w,计算公式如下:其中,dmax是归一化因子,表示特征距离的最大值,确保权重

在 [0, 1]范围内,γ为调节因子,控制难分类样本和易分类样本对损失贡献的权重差异,ϵ为平滑因子,避免归一化时出现数值不稳定,u表示样本类别,u=1为同类样本,u=0表示异类样本;

S6.2,采用自适应阈值m动态区分同类和异类样本,m通过计算不同批次的样本平均特征距离得到,计算公式如下: 其中,表示当前批次样本特征距离的平均值,反映样本分布的动态变化; 和

为超参数,用于调整阈值的灵活性和固定偏移量;

S6.3,结合动态加权因子和自适应阈值计算对比损失函数 Lcontrastive,计算公式如下:。

8.根据权利要求1所述的一种基于小样本学习的深度可解释皮肤病识别方法,其特征在于,在步骤S7中,所述CMFF融合模块对形状信息、纹理信息与深浅特征进行多模态融合,用于皮肤病识别,包括以下步骤:S7.1,采用多头注意力对形状信息、纹理信息元数据特征和深浅特征的图像特征进行n n转换,通过N个线性变换矩阵将元数据特征作为查询向量q ,将图像特征作为键向量k 和值n n n n向量v ,从多个角度捕捉图像特征和元数据特征之间的关联,q 、k 和v 具体表示如下:其中,Fmeta表示元数据特征,Fimage表示

图像特征,尺寸均为1×1×g,

是线性变换矩阵, 为线性变换投影中

的第n个头;

n n

S7.2,采用改进的交叉注意力机制计算q 和k 的相似性,获得多模态权重图,使用tanh函数作为门控函数,tanh函数将注意力权重映射到[−1,1]的范围,当门控值接近1时,表明该特征在融合过程中具有较高的权重;当门控值接近‑1时,该特征的影响力被抑制,融合不n同模态的关键信息,多模态权重图经过门控函数tanh后与v 相乘得到注意向量,并将其通过sigmoid激活函数进行非线性变化后拼接为1×1×(N×g)大小的特征,再经过线性变化得到多模态融合特征 ,具体计算如下: ,;其中,headn表示第n个注意向量,

为线性变换矩阵。