1.一种基于特征融合的肺部X‑Ray图像分类方法,其特征在于,该方法具体如下:收集数据集:通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像;通过开放性数据库获取COVID‑19患者的肺部X射线图像;
数据预处理:对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行预处理;
样本均衡化处理:将获取的数据集采用权重函数进行数据样本均衡化;
构建融合DN‑VGG模型:运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN‑VGG模型,通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行特征提取与识别;具体如下:初步对整体肺部图像分类,提取疑似肺炎信息;
运用R‑segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中,提取到肺部结节信息;
通过融合DN‑VGG模型将提取到的疑似肺炎信息与提取到肺部结节信息进行融合并输出作为注意力机制的输入,送入到注意力机制中,运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制,并运用CAB学习鉴别特征;
对融合DN‑VGG模型的超参数进行调优;
其中,初步对整体肺部图像分类具体如下:
运用原始肺部X射线图像的数据集图像尺寸统一为224×224,标准化像素值;
将标准化像素值的肺部X射线图像送入到Densenet网络结构中,通过7×7层的卷积层,输出112×112的肺部X射线图像特征图作为池化层输入;再通过3×3的池化层改变特征图大小输出56×56的肺部X射线图像特征图,作为层块1的输入;
将56×56的肺部X射线图像特征图数据输入到层块1中,经过六层1×1和3×3的卷积层,识别肺部X射线中阴影部分的数据,并将识别到的数据送入过渡层减少特征图数量,输出28×28的肺部X射线图像特征图作为层块2的输入;
通过卷积层的十二层、四十八层、三十二层分别对肺部X射线图像特征图进行特征图数量减少处理,并将十二层、四十八层、三十二层输出的肺部X射线图像特征图经过层块2、层块3、层块4的肺部X射线图像数据处理,输出图像大小为7×7;
通过Softmax函数做初步对整体肺部图像分类;
运用R‑segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中,提取到肺部结节信息具体如下:用3×3、步幅为1的过滤器构建卷积层,padding参数为same卷积中的参数;
用一个2×2,步幅为2的过滤器构建最大池化层;
将最后得到的7×7×512的特征图进行全连接操作,得到4096个单元,再进行softmax激活,输出从1000个对象中识别的结果。
2.根据权利要求1所述的基于特征融合的肺部X‑Ray图像分类方法,其特征在于,数据预处理体如下:对收集到的数据集进行标签化处理:对COVID‑19患者的肺部X射线图像用标签0表示,正常人的肺部X射线图像用标签1表示,普通型肺炎患者的肺部X射线图像用标签2表示;
将标签化后的肺部X射线图像运用Resnet分割算法通过R‑segment标记肺部的黑色阴影部分;
通过分割将肺部X射线图像中噪声以及混淆区域进行去除、降噪;且分割后的肺部X射线图像的统一大小为224×224,统一存储格式为.jpg,按照类型进行将数据集分为测试集和训练集,并保留高质量清晰图。
3.根据权利要求2所述的基于特征融合的肺部X‑Ray图像分类方法,其特征在于,将标签化后的肺部X射线图像运用Resnet分割算法通过R‑segment标记肺部的黑色阴影部分具体如下:将原始肺部X射线图像输入到R‑segment中通过编码提取所需要分割阴影区域,通过7×7的卷积层1中输出112×112大小的肺部X射线图像;
将输出的112×112大小的肺部X射线图像送入到卷积层2中,通过3×3的最大池化层以及六层3×3×64的卷积输出56×56大小的肺部X射线区域图像;
将输出的56×56大小的肺部X射线区域图像送入卷积层3中,通过八层3×3×128的卷积输出28×28大小的肺部X射线区域图像;
将输出的28×28大小的肺部X射线区域图像送入卷积层4中,通过十二层3×3×256的卷积输出14×14大小的肺部X射线区域图像;
将输出的14×14大小的肺部X射线区域图像送入卷积层5中,通过六层3×3×512的卷积输出7×7大小的肺部X射线区域图像;
将输出的7×7大小的肺部X射线区域图像进行上采样操作,重复上采样与解码过程中的肺部数据处理直到与输出尺寸224×224相同的肺部图像为止完成分割肺部阴影区域。
4.根据权利要求1所述的基于特征融合的肺部X‑Ray图像分类方法,其特征在于,样本均衡化处理具体如下:选择平衡性函数,针对正常人、普通型肺炎患者、COVID19患者分配不同权重值;
计算参与到融合DN‑VGG模型的不同类型的数据情况,公式如下:Wb=Sumi/(Classi*Sumij)
其中,Wb表示每个类别最终计算出的权重值;Sumi:表示该类型数据集中所有样本的大小;Classi表示总样本中类别的数量;Sumij表示j类对应的样本个数。
5.根据权利要求1所述的基于特征融合的肺部X‑Ray图像分类方法,其特征在于,运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制,并运用CAB学习鉴别特征,具体如下:计算通道的注意力特征Zch_at,公式如下:
其中,H表示高度;W表示宽度;C表示着通道数目;ZG‑OUT表示空间注意特征映射,作为CAB的输入;
由Z′检测每个类别判别区域所需要的通道数目,由Z″保留一半特征,去掉Dropout函数与所有的特征进行预测,其中,ZC_OUT为CAB数据输出特征图,公式如下:其中,δ表示运用Sigmoid激活函数;GAP表示平均池化,ZG‑IN运用了1×1的卷积对其信道数目进行了减少,C_G表示跨信道平均池化;
探索正常人、普通肺炎患者、COVID19三类之间区别性的特征,并平等地对待每个类别,具体如下:①、计算每个类别的分数通过S={S1,S2,....SL}来表示:②、通过reshape函数对数组的结构进行改变,获取位置为1和2上的数值,并做均值处理,公式如下:③、由步骤②的输出,与Si做乘法运算的和通过mean函数做均值运算,得到ACAB,更好的提供诊断的区域,公式如下:④、通过计算输入ZG‑IN与步骤③输出相乘,得出ZC_OUT为CAB数据输出特征图,公式如下:其中,Si表示对每种类别特征映射的重要性反应;Zi_avg表示第i类的语义特征的映射反应;zi′j表示Z′中的第i类的第j个特征的反应情况;ACAB更好的提供诊断的区域;
对融合DN‑VGG模型的超参数进行调优包括对批处理大小、优化器、损失函数、归一化操作进行测试;具体如下:在输入图像数据集到融合DN‑VGG模型后,结合Adam优化器;
在损失函数中,运用交叉熵损失函数,训练正常人、普通型肺炎患者、COVID19患者的数据时得到的概率分布与真实分布的差异情况;
运用标签平滑技术,设置标签平滑参数,对标签光滑化处理,标签得到了软化,增加融合DN‑VGG模型的泛化能力,防止过拟合。
6.一种基于特征融合的肺部X‑Ray图像分类系统,其特征在于,该系统用于实现如权利要求1‑5中任一项所述的基于特征融合的肺部X‑Ray图像分类方法;该系统包括,收集模块,用于通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像;通过开放性数据库获取COVID‑19患者的肺部X射线图像;
预处理模块,用于对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行预处理;
均衡化模块,用于将获取的数据集采用权重函数进行数据样本均衡化;
模型构建模块,用于运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN‑VGG模型,通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行特征提取与识别。
7.一种电子设备,其特征在于,包括:存储器和至少一个处理器;
其中,所述存储器上存储有计算机程序;
所述至少一个处理器执行所述存储器存储的计算机程序,使得所述至少一个处理器执行如权利要求1至5任一项所述的基于特征融合的肺部X‑Ray图像分类方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如权利要求1至5中任一项所述的基于特征融合的肺部X‑Ray图像分类方法。