1.一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,包括:
S1:获取待解释图像,并将图像分成预测训练集、解释训练集,并对图像进行数据预处理;
S2:通过预处理后的预测训练集对resnet18网络模型进行训练,并对训练完成后的resnet18网络模型加入修正模块,得到解释判别模型;
S3:将预处理后的解释训练集中的图像输入解释判别模型,通过计算图像中每个像素的梯度值以及其在模型中的特征图,得到每个像素对模型决策的重要程度的可解释热力图;
S4:通过专家知识对可解释热力图进行交互,当专家判断可解释热力图的解释正确时,对图像不进行操作;当专家判断可解释热力图的解释错误时,将解释错误的区域进行标注和选择模型应该正确解释的区域进行标注;
S5:将标注信息输入解释判别模型的修正模块进行错误解释结果修正;
S51:对标注出的解释错误的区域进行掩码,并通过损失函数修正错误的解释;
S52:对标注出的模型应该正确解释的区域采用梯度区域检测技术提取出模型最关注的区域,并结合用户提供的正确解释区域,设计损失函数修正错误的解释;
S6:对修正后的解释结果通过梯度区域检测,得到的梯度区域的像素个数以及用户提供的区域包含的像素个数,根据梯度区域的像素个数以及用户提供的区域包含的像素个数计算可解释评估指标,设定阈值,重复S5直到评估指标小于等于设定阈值,则完成解释修正。
2.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,对图像进行处理,包括:将图像尺寸重置为resnet18网络模型的输入尺寸,大小为224×224,对重置尺寸后的图像进行图像增强,得到预处理后的图像。
3.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,通过预测训练集对resnet18网络模型进行训练,得到训练完成的网络模型,包括:将预处理后的预测训练集中的图像输入resnet18网络模型,通过卷积核为7×7通道数为64步长为2的卷积层进行图像降维,将降维后的图像通过2个卷积核为3×3通道数为64、
128、256和512的卷积层提取输入图像的特征,通过一个平均池化层、一个全连接层以及一个softmax层进行图像分类,完成resnet18网络模型的训练。
4.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,通过计算图像中每个像素的梯度值以及其在模型中的特征图,得到每个像素对模型决策的重要程度的可解释热力图,包括:其中,LheatMap表示每个像素对模型决策的重要程度的可解释热力图,A代表网络中的一k c个特征层,k代表特征层A中的第k个通道, 表示针对A的权重,c表示类别,y表示网络针对类别c预测的分数, 表示特征层A在通道k中坐标为ij位置的数据,Z表示特征层A的宽度及高度的乘积。
5.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,所述可解释热力图,包括:与模型决策不相关的区域和与模型决策相关的区域。
6.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,将解释错误区域进行掩码,并通过损失函数修正错误的解释,包括:其中,θ表示模型参数,X表示输入特征向量,y表示标签,A表示掩码, 表示预测值,λ1和λ2表示第一和第二正则化系数,N表示样本个数,n表示第n个样本,K表示标签个数,k表示第k个标签,D表示输入特征向量的维度,d表示输入特征向量的第d个维度,And表示第n个样本的第d维掩码, 表示第n个样本第d维的梯度,i表示模型的第i层, 表示第i层模型参数的平方。
7.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,采用梯度区域检测技术提取出模型最关注的区域,包括:对标注出的模型应该正确解释的区域,计算区域中每个像素的梯度值,将该区域的总体梯度值的95分位数设为阈值,提取出区域中梯度值大于所设定阈值的像素区域,模型最关注的区域。
8.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,提取出模型最关注的区域,并结合用户提供的正确解释区域,设计损失函数修正错误的解释,包括:其中,goutside表示用户提供的区域外模型提供的错误解释的每个像素的梯度值,ginside表示用户提供的区域内的梯度值,pgrad表示梯度区域检测得到的模型提供的可解释区域的像素个数,pmask表示用户提供的区域包含的像素个数,pgrad∩pmask表示两个区域间相交区域的像素个数,pgrad∪pmask表示两个区域总的像素个数, 表示样本的分类损失,output表示网络模型的预测值,y表示样本的标签值。
9.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,计算评估指标,包括:其中,I表示评估指标,pgrad表示梯度区域检测得到的模型提供的可解释区域的像素个数,pmask表示用户提供的区域包含的像素个数,pgrad∩pmask表示两个区域间相交区域的像素个数,pgrad∪pmask表示两个区域总的像素个数。
10.根据权利要求1所述的一种基于专家交互学习的深度判别模型的解释结果修正方法,其特征在于,所述阈值,包括:计算获取的所有图像的可解释评估指标,将所有图像的可解释评估指标中的75分位数设定阈值。