1.一种基于CycleGAN和BAFCNN的黑色素瘤分类方法,其特征在于,该方法是通过条件图像合成数据集中代表性不足的样本用于平衡数据集,并利用基础辅助融合神经网络提取数据特征,将提取的数据特征映射到输出空间上进行黑色素瘤的处理与分类;具体如下:条件图像合成:使用循环一致的CycleGAN网络合成条件图像;
提取补丁图像:采用像素块差值补丁策略提取补丁图像;
数据预处理:将原始皮肤图像的尺寸大小调整到224x224,将补丁图像的尺寸大小调整到128x128,并将补丁图像分别进行8倍和4倍上采样,再进行albumentations操作;
特征提取:使用基础辅助融合神经网络提取补丁图像以及原始皮肤图像的特征,并获取皮损图像的信息;
特征融合:使用权重融合策略对基础辅助融合神经网络输出的特征进行融合分类;
指标评估:使用不同的评测指标来评价黑色素瘤二分类预测结果;
其中,基础辅助融合神经网络包括基础神经网络、辅助神经网络和融合神经网络;
基础神经网络用于提取补丁图像的特征;
辅助神经网络包括ACNN_WI网络以及ACNN_O网络;ACNN_WI网络用于输入相对应的全局图像;ACNN_O网络用于输入补丁图像,并通过加权集成策略融合基础神经网络中间层特征矩阵与ACNN_WI网络中间层特征矩阵;
融合神经网络用于获得皮损图像局部细粒度信息以及全局信息并输出分类结果;
特征提取具体如下:
通过ACNN_O网络将补丁图像4倍上采样;具体为:ACNN_O网络包括七个卷积网络层、BatchNorm2d层以及一个激活函数,将补丁图像上采样,再送入包含7个卷积层的网络中,得到输出向量;
将输出向量送入ACNN_WI网络;其中,ACNN_WI网络包括八个卷积网络层、BatchNorm2d层以及一个激活函数;
基础神经网络中间层的输出作为一种全局指导输入ACNN_WI网络,并结合加权集成策略得到最终的输出结果,加权集成策略的公式如下:其中,F=(f1,f2......fn)表示基础神经网络中间特征;G=(g1,g2......gn)表示辅助神经网络局部特征;fi表示第i个空间位置的特征向量;gi表示第i个空间位置的特征向量; 表示将两个特征向量进行拼接操作;Θ表示F与G分别与G和F逐像素相乘,继而对结果开方。
2.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法,其特征在于,条件图像合成具体如下:将数据集中的非黑色素瘤图像和黑色素瘤图像分别定义为CycleGAN网络的X域和Y域;
将X域的非黑色素瘤图像和Y域的黑色素瘤图像分别送入一对博弈网络进行训练;其中,CycleGAN网络包括生成器GXY、生成器GYX、鉴别器DXY和鉴别器DYX;
生成器GXY用于将X域图像合成与Y域样本相似的样本Y';生成器GYX用于利用Y域图像条件合成X域样本的X'域特征图;
鉴别器DXY用于对Y域样本和样本Y'特征评分;鉴别器DYX用于对X域样本和X'域特征图评分;
将对Y域样本和样本Y'特征评分及对X域样本和X'域特征图评分进行加和操作得出最终的损失;
根据评估结果更新生成器G,最终通过博弈达到平衡状态。
3.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法,其特征在于,提取补丁图像具体如下:将原始皮肤图像的两条中轴线平均分成T块像素块;
计算每个像素块中像素和值;
获取两个相邻像素块的差值,并判断相邻像素块的差值是否大于阈值若是,则说明两个相邻像素块中发生了颜色的明显变化,即皮损图像的病变边界发生在这两个相邻像素块之间;
根据皮损图像的病变边界,选择差值大于阈值的像素块中远离病变组织的位置作为原始皮肤图像的切割线;
其中,原始皮肤图像的切割线获取具体如下:
将原始皮肤图像的两条中轴线平均划分为T块,分别为t1、t2·····tn;
计算每相邻两个块像素和的差值;
从中轴线两端开始寻找差值大于阈值的像素点作为切片图像的边界线,公式如下:其中,L、R、U、D分别表示目标补丁图像距离原始皮肤图像左边缘的距离、右边缘的距离、上边缘的距离及下边缘的距离;W、H分别表示原始皮肤图像的宽度和高度;T表示网格数量,T越大获得的补丁图像越精细;Ti表示第i个像素块;S(Ti)表示计算第i个像素块的和值;
B表示返回两个像素块之间差值大于阈值的第一个或最后一个像素块的i值;
当切片图像的像素特征数量小于原始皮肤图像的四分之一时,使用几何切片补丁策略以弥补样本的缺陷。
4.根据权利要求1所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法,其特征在于,融合策略是更改提取到的特征信息提取到的特征,并将三个二维特征向量像素级融合操作,再将其送入网络块中;
融合策略采用权重特征融合,权重特征融合是将三个特征提取获取的输出向量按照三个权重值进行重组,将结果送入由两个网络块组成的神经网络中分类;其中,每个网络块均由一个全连接层、BatchNorm1d以及一个激活层组成,公式如下:其中,RB=(rb1,rb2,```,rbn);
RAWI=(rawi1,rawi2,```,rawin);
RAO=(rao1,rao2,```,raon);
其中,RB、RAWI及RAO分别表示基础神经网络、ACNN_WI网络和ACNN_O网络的输出结果经降维操作的特征值;W1、W2、W3均表示权重值; 表示向量拼接操作; 表示像素级向量值相加操作;Πxi表示i个全连接层。
5.根据权利要求1至4中任一所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法,其特征在于,指标评估具体如下:使用不同的评测指标来评价黑色素瘤二分类预测结果,采用准确率Accuracy,精准率Precision、召回率Recall、F1_score以及AUC指标;
其中,通过评价指标准确率来进行评判,公式如下:
评价指标准确率的目的为检测正确分类的正例个数占总样本数之比;Accuracy表示指标准确率;TP表示标签和预测都为正常人的数量;FN表示标签为正常人,预测为患有黑色素瘤的数量;FP表示标签为患有黑色素瘤,预测为正常人的数量;TN表示标签和预测都为患有黑色素瘤的数量;
精准率反映为预测正例的样本数占正例的实例个数的比例,目的是为了衡量“查准率”,公式如下:召回率反映预测为正例的样本数占所有正样本个数的比例,目的是衡量“查全率”,公式如下:为了能够评价不同算法优劣,在精准率和召回率的基础上提出了F1_score值的概念,对精准率和召回率进行整体评价,公式如下:AUC用于总结ROC曲线中包含的信息,ROC曲线绘制了各种阈值下的TPR与FPR,即误报率;AUC值的越大表示在区分黑素瘤和非黑素瘤图像时性能越好。
6.一种基于CycleGAN和BAFCNN的黑色素瘤分类系统,其特征在于,该系统包括,条件图像合成模块,用于使用循环一致的CycleGAN网络合成条件图像;
补丁图像提取模块,用于采用像素块差值补丁策略提取补丁图像;
预处理模块,用于将原始皮肤图像的尺寸大小调整到224x224,将补丁图像的尺寸大小调整到128x128,并将补丁图像分别进行8倍和4倍上采样,再进行albumentations操作;
特征提取模块,用于使用基础辅助融合神经网络提取补丁图像以及原始样本的特征,并获取皮损图像的信息;
特征融合模块,用于使用权重融合策略对基础辅助融合神经网络输出的特征进行融合分类;
指标评估模块,用于使用不同的评测指标来评价黑色素瘤二分类预测结果;
其中,基础辅助融合神经网络包括基础神经网络、辅助神经网络和融合神经网络;
基础神经网络用于提取补丁图像的特征;
辅助神经网络包括ACNN_WI网络以及ACNN_O网络;ACNN_WI网络用于输入相对应的全局图像;ACNN_O网络用于输入补丁图像,并通过加权集成策略融合基础神经网络中间层特征矩阵与ACNN_WI网络中间层特征矩阵;
融合神经网络用于获得皮损图像局部细粒度信息以及全局信息并输出分类结果;
所述特征提取模块包括,
上采样子模块,用于通过ACNN_O网络将补丁图像4倍上采样;具体为:ACNN_O网络包括七个卷积网络层、BatchNorm2d层以及一个激活函数,将补丁图像上采样,再送入包含7个卷积层的网络中,得到输出向量;
输入子模块,用于将输出向量送入ACNN_WI网络;其中,ACNN_WI网络包括八个卷积网络层、BatchNorm2d层以及一个激活函数;
输出子模块,用于基础神经网络中间层的输出作为一种全局指导输入ACNN_WI网络,并结合加权集成策略得到最终的输出结果,加权集成策略的公式如下:其中,F=(f1,f2……fn)表示基础神经网络中间特征;G=(g1,g2……gn)表示辅助神经网络局部特征;fi表示第i个空间位置的特征向量;gi表示第i个空间位置的特征向量;
表示将两个特征向量进行拼接操作;Θ表示F与G分别与G和F逐像素相乘,继而对结果开方。
7.根据权利要求6所述的基于CycleGAN和BAFCNN的黑色素瘤分类系统,其特征在于,所述条件图像合成模块包括,图像定义子模块,用于将数据集中的非黑色素瘤图像和黑色素瘤图像分别定义为CycleGAN网络的X域和Y域;
图像训练子模块,用于将X域的非黑色素瘤图像和Y域的黑色素瘤图像分别送入一对博弈网络进行训练;其中,CycleGAN网络包括生成器GXY、生成器GYX、鉴别器DXY和鉴别器DYX;
生成器GXY,用于将X域图像合成与Y域样本相似的样本Y';
生成器GYX,用于利用Y域图像条件合成X域样本的X'域特征图;
鉴别器DXY,用于对Y域样本和样本Y'特征评分;
鉴别器DYX,用于对X域样本和X'域特征图评分;
加和子模块,用于将对Y域样本和样本Y'特征评分及对X域样本和X'域特征图评分进行加和操作得出最终的损失;
更新子模块,用于根据评估结果更新生成器G,最终通过博弈达到平衡状态;
所述补丁图像提取模块包括,
像素块获取子模块,用于将原始皮肤图像的两条中轴线平均分成T块像素块;
像素块和值获取子模块,用于计算每个像素块中像素和值;
像素块差值获取及判断子模块,用于获取两个相邻像素块的差值,并判断相邻像素块的差值是否大于阈值若是,则说明两个相邻像素块中发生了颜色的明显变化,即皮损图像的病变边界发生在这两个相邻像素块之间;
选择子模块,用于根据皮损图像的病变边界,选择差值大于阈值的像素块中远离病变组织的位置作为原始皮肤图像的切割线;
所述特征融合模块采用权重特征融合,权重特征融合是将三个特征提取获取的输出向量按照三个权重值进行重组,将结果送入由两个网络块组成的神经网络中分类;其中,每个网络块均由一个全连接层、BatchNorm1d以及一个激活层组成,公式如下:其中,RB=(rb1,rb2,```,rbn);
RAWI=(rawi1,rawi2,```,rawin);
RAO=(rao1,rao2,```,raon);
其中,RB、RAWI及RAO分别表示基础神经网络、ACNN_WI网络和ACNN_O网络的输出结果经降维操作的特征值;W1、W2、W3均表示权重值; 表示向量拼接操作;表示像素级向量值相加操作;Πxi表示i个全连接层。
8.一种电子设备,其特征在于,包括:存储器和至少一个处理器;
其中,所述存储器上存储有计算机程序;
所述至少一个处理器执行所述存储器存储的计算机程序,使得所述至少一个处理器执行如权利要求1至5中任一项所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如权利要求1至5中任一项所述的基于CycleGAN和BAFCNN的黑色素瘤分类方法。